Restore the privileged critic: its ablation flips with scale
The 39.3M ablation said the privileged critic hurt (switching it off won 0.5160 [0.505, 0.527]). Head to head at 131M, both sides trained identically, it says the opposite: off *loses*, 0.4633 [0.453, 0.474]. Against league the critic-on model scores 0.6094 and the critic-off one 0.5526. The critic earns its keep once there is enough data to fit it -- at 39.3M the privileged value trunk is underfit and only adds advantage noise. Defaulted back on, with the small-scale number kept in the docstring as a warning: an ablation at a budget you do not intend to ship can invert. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01XBQKgvBbxbheiTF1AVy1Sh
This commit is contained in:
@@ -490,3 +490,28 @@ Fable은 이것을 "가장 큰 누락 아이디어"로 꼽았다. 실측은 **
|
||||
3. **선형 총점 보상** — tanh 대비 0.5859 (사용자 제안)
|
||||
4. **매치 관측 결함 수정** — 약 2.5%p
|
||||
5. ~~전지적 critic~~ — **해가 된다. 끈다.**
|
||||
|
||||
### 정정: 전지적 critic의 가치는 **스케일에 따라 뒤집힌다**
|
||||
|
||||
위 A/B는 39.3M learner 액션 규모에서 돌렸다. 실전 규모(131M)에서 동일 설정으로 둘을 직접
|
||||
맞붙이면 **결론이 반대로 나온다.**
|
||||
|
||||
| 규모 | critic OFF의 승률 (critic ON 상대) | 판정 |
|
||||
|---|---|---|
|
||||
| 39.3M (A/B 규모) | **0.5160** [0.505, 0.527] | OFF가 낫다 |
|
||||
| **131M (실전 규모)** | **0.4633** [0.453, 0.474] | **ON이 낫다** |
|
||||
|
||||
**전지적 critic은 그것을 학습시킬 데이터가 충분해질 때 값어치를 한다.** 39.3M에서는 특권
|
||||
정보를 쓰는 큰 가치 트렁크를 제대로 못 맞춰서 어드밴티지에 노이즈만 얹었고, 131M에서는
|
||||
제대로 맞춰서 분산 감소가 실현된다.
|
||||
|
||||
**교훈: 배포할 예산이 아닌 규모에서 ablation을 돌리면 결론이 뒤집힐 수 있다.**
|
||||
`privileged_critic` 기본값은 **ON으로 되돌린다.**
|
||||
|
||||
### 최종 순위 (진짜 3라운드 클래식, duplicate 8,192판)
|
||||
|
||||
| 모델 | learner 액션 | vs league |
|
||||
|---|---|---|
|
||||
| **매치 스택 (critic ON)** | 131M | **0.6094** (+22.0점) |
|
||||
| 매치 스택 (critic OFF) | 131M | 0.5526 (+10.9점) |
|
||||
| league (기존 최강, 웹 배포판) | 122.6M | — |
|
||||
|
||||
Reference in New Issue
Block a user