Fund the exploiter properly: ours holds, league breaks
The earlier exploiters ran a quarter of their targets' budget. Rerun at a matched ~131M learner actions (measured: 130.4M and 131.1M): ours exploiter reaches 0.4657 [0.455, 0.477], mean lead -5.5 league exploiter reaches 0.6295 [0.619, 0.640], mean lead +28.8 The CIs are nowhere near each other and the gap widened under funding, 0.094 -> 0.164. A qualitative line gets crossed too: a properly funded attacker trained from scratch *beats* league outright, and still loses to ours. Two things a reader has to carry with that, both of which cut against us: - Neither exploiter plateaued -- both climb through the final update, so these remain lower bounds. And ours' attacker has the steeper tail (+0.031 vs +0.016 per 100 updates) while league's curve is already bending, so a much larger attacker could narrow the gap. Cannot rule out that it closes. - League is a single-round policy blind to carry and match score, and both frozen policies are played greedily, which is maximally exploitable by construction. So this is not a clean "training method A vs B". The claim that survives is the matched-budget one, and only that one. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01XBQKgvBbxbheiTF1AVy1Sh
This commit is contained in:
@@ -581,3 +581,37 @@ Fable은 이것을 "가장 큰 누락 아이디어"로 꼽았다. 실측은 **
|
|||||||
**흥미로운 점:** 우리는 **순수 셀프플레이**이고 league는 **착취자 구조를 학습에 넣은** 런인데,
|
**흥미로운 점:** 우리는 **순수 셀프플레이**이고 league는 **착취자 구조를 학습에 넣은** 런인데,
|
||||||
그런데도 우리가 덜 착취당한다. 착취자 구조가 exploitability를 낮춰줄 것이라는 기대가
|
그런데도 우리가 덜 착취당한다. 착취자 구조가 exploitability를 낮춰줄 것이라는 기대가
|
||||||
이 게임에서는 확인되지 않았다.
|
이 게임에서는 확인되지 않았다.
|
||||||
|
|
||||||
|
### 착취자에 제대로 자금을 대고 재측정 (131M, 목표와 동일 예산)
|
||||||
|
|
||||||
|
앞선 32.5M 측정은 **공격자가 목표보다 4배 부족**했다. 예산을 목표와 맞춰 다시 쟀다.
|
||||||
|
실측 확인: 착취자 learner 액션 **130.4M** (우리 상대) / **131.1M** (league 상대).
|
||||||
|
|
||||||
|
| 얼려놓은 정책 | 착취자 승률 | 95% CI | 착취자 평균 마진 | 이전(32.5M) |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| **우리 매치 스택** (131.1M 학습) | **0.4657** | [0.455, 0.477] | **−5.5점** | 0.2278 |
|
||||||
|
| league (122.6M 학습) | **0.6295** | [0.619, 0.640] | **+28.8점** | 0.3213 |
|
||||||
|
|
||||||
|
**CI가 전혀 겹치지 않고, 격차가 오히려 벌어졌다 (0.094 → 0.164).**
|
||||||
|
|
||||||
|
**질적으로 선을 넘었다:** 제대로 자금 댄 전담 공격자는 **league를 아예 이긴다**(0.63, +28.8점).
|
||||||
|
반면 **우리는 여전히 못 뚫는다**(0.47, −5.5점).
|
||||||
|
|
||||||
|
#### 우리에게 불리한 단서 (반드시 함께 읽을 것)
|
||||||
|
|
||||||
|
- **둘 다 1000 업데이트 끝까지 정체 없이 오르고 있었다. 이 수치도 여전히 하한선이다.**
|
||||||
|
- **우리 쪽 착취자의 말단 기울기가 더 가파르다** (+0.031 vs +0.016 / 100 업데이트).
|
||||||
|
league 착취자 곡선은 꺾이기 시작했는데 우리 쪽은 아직 갈 길이 남았다.
|
||||||
|
**공격자 예산을 크게 더 키우면 격차가 좁혀질 수 있고, 뒤집힐 가능성도 배제 못 한다.**
|
||||||
|
|
||||||
|
#### 구조적 교란 (순수한 "학습법 A vs B"가 아니다)
|
||||||
|
|
||||||
|
1. **league는 단판 정책이다.** carry도 매치 점수도 모른다. 더 털리는 것의 일부는
|
||||||
|
**학습 방법이 아니라 구조적 맹점** 때문일 수 있다.
|
||||||
|
2. **둘 다 greedy(argmax)로 뒀다.** 결정론적 정책은 **정의상 최대로 착취당한다.**
|
||||||
|
양쪽을 똑같이 대우했으니 비교는 공정하나, **절대값은 부풀려져 있다.**
|
||||||
|
|
||||||
|
#### 살아남는 주장 / 못 하는 주장
|
||||||
|
|
||||||
|
- ✅ **"동일 예산의 전담 공격자 앞에서 league는 뚫리고 우리는 안 뚫린다."**
|
||||||
|
- ❌ "우리 정책은 착취 불가능하다." — 하한선일 뿐이고, 우리 쪽 곡선은 아직 오르는 중이다.
|
||||||
|
|||||||
Reference in New Issue
Block a user