Record the old-vs-new head to head in the real three-round game
The question was what any of this actually improved over the training method that existed. Duplicate matches, 8192 a piece, same three deals and coins from both seats: - At 39.3M learner actions the match stack beats the Phase 0a gate agent (0.5842) which had 411M -- 10.5x the data. Sample efficiency is the headline. - At 39.3M it *loses* to the league policy (0.3142). That is a budget gap, not a strength gap: league had 122.6M plus a league/exploiter structure. - Scaled to a matched budget (131M vs league's 122.6M) it wins: 0.6094 (CI 0.599-0.620), +22.0 points. So: same compute, stronger agent, measured on the actual game. Caveat kept honest in the plan -- league was trained with exploiters, and we have measured average strength, not exploitability. "Harder to exploit" is not shown. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01XBQKgvBbxbheiTF1AVy1Sh
This commit is contained in:
@@ -420,3 +420,27 @@ in-scan auto-reset + GAE 절단 부트스트랩(샘플 5.8배), 메트릭 재작
|
||||
단판 결함 수정분(`to_move`, 덱 시계, ÷780 → ÷75, 살아있는 점수 3분할).
|
||||
|
||||
**죽은 것은 tanh 종료 보상과 carry 구간 원-핫뿐이다.**
|
||||
|
||||
---
|
||||
|
||||
## 신구 대결: 진짜 3라운드 클래식에서 (2026-07-15)
|
||||
|
||||
**질문: "기존 학습 방법 대비 실제로 뭐가 나아졌나?"**
|
||||
|
||||
duplicate 매치 8,192판(같은 3딜 + 같은 코인 + 자리 교대), 진짜 3라운드 게임:
|
||||
|
||||
| 신(매치 스택) | 상대 | 신 승률 | 신 평균 총점차 | 상대 learner 액션 |
|
||||
|---|---|---|---|---|
|
||||
| 39.3M | 기존 baseline (정적 상대 학습) | 0.6077 | +19.5 | 104M |
|
||||
| 39.3M | Phase 0a 게이트 (루프 수정만) | **0.5842** | +16.0 | **411M (10.5배)** |
|
||||
| 39.3M | league (셀프플레이, 웹 배포판) | 0.3142 | −37.0 | 122.6M (3.1배) |
|
||||
| **131M** | **league (셀프플레이, 웹 배포판)** | **0.6094** (CI 0.599–0.620) | **+22.0** | 122.6M |
|
||||
|
||||
**결론:**
|
||||
|
||||
1. **샘플 효율이 크게 올랐다.** 39.3M짜리가 **411M(10.5배)짜리를 이긴다.**
|
||||
2. **동일 예산에서 기존 최강(league)을 이긴다** — 131M vs 122.6M에서 0.6094.
|
||||
3. 39.3M에서 league에 졌던 것(0.3142)은 **약해서가 아니라 예산이 1/3이어서**였다.
|
||||
|
||||
**남은 단서:** league는 **착취자(exploiter) 구조**를 포함한 런이다. 평균 강함은 우리가 이기지만
|
||||
**exploitability는 아직 재지 않았다.** "덜 착취당한다"는 증명되지 않았다.
|
||||
|
||||
Reference in New Issue
Block a user