Fund the exploiter properly: ours holds, league breaks

The earlier exploiters ran a quarter of their targets' budget. Rerun at a matched
~131M learner actions (measured: 130.4M and 131.1M):

  ours    exploiter reaches 0.4657 [0.455, 0.477], mean lead -5.5
  league  exploiter reaches 0.6295 [0.619, 0.640], mean lead +28.8

The CIs are nowhere near each other and the gap widened under funding, 0.094 ->
0.164. A qualitative line gets crossed too: a properly funded attacker trained
from scratch *beats* league outright, and still loses to ours.

Two things a reader has to carry with that, both of which cut against us:

- Neither exploiter plateaued -- both climb through the final update, so these
  remain lower bounds. And ours' attacker has the steeper tail (+0.031 vs +0.016
  per 100 updates) while league's curve is already bending, so a much larger
  attacker could narrow the gap. Cannot rule out that it closes.
- League is a single-round policy blind to carry and match score, and both frozen
  policies are played greedily, which is maximally exploitable by construction.
  So this is not a clean "training method A vs B".

The claim that survives is the matched-budget one, and only that one.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01XBQKgvBbxbheiTF1AVy1Sh
This commit is contained in:
2026-07-15 06:21:46 +09:00
co-authored by Claude Opus 4.8
parent 0c83824243
commit 0fb6e3c1a6
+34
View File
@@ -581,3 +581,37 @@ Fable은 이것을 "가장 큰 누락 아이디어"로 꼽았다. 실측은 **
**흥미로운 점:** 우리는 **순수 셀프플레이**이고 league는 **착취자 구조를 학습에 넣은** 런인데,
그런데도 우리가 덜 착취당한다. 착취자 구조가 exploitability를 낮춰줄 것이라는 기대가
이 게임에서는 확인되지 않았다.
### 착취자에 제대로 자금을 대고 재측정 (131M, 목표와 동일 예산)
앞선 32.5M 측정은 **공격자가 목표보다 4배 부족**했다. 예산을 목표와 맞춰 다시 쟀다.
실측 확인: 착취자 learner 액션 **130.4M** (우리 상대) / **131.1M** (league 상대).
| 얼려놓은 정책 | 착취자 승률 | 95% CI | 착취자 평균 마진 | 이전(32.5M) |
|---|---|---|---|---|
| **우리 매치 스택** (131.1M 학습) | **0.4657** | [0.455, 0.477] | **5.5점** | 0.2278 |
| league (122.6M 학습) | **0.6295** | [0.619, 0.640] | **+28.8점** | 0.3213 |
**CI가 전혀 겹치지 않고, 격차가 오히려 벌어졌다 (0.094 → 0.164).**
**질적으로 선을 넘었다:** 제대로 자금 댄 전담 공격자는 **league를 아예 이긴다**(0.63, +28.8점).
반면 **우리는 여전히 못 뚫는다**(0.47, 5.5점).
#### 우리에게 불리한 단서 (반드시 함께 읽을 것)
- **둘 다 1000 업데이트 끝까지 정체 없이 오르고 있었다. 이 수치도 여전히 하한선이다.**
- **우리 쪽 착취자의 말단 기울기가 더 가파르다** (+0.031 vs +0.016 / 100 업데이트).
league 착취자 곡선은 꺾이기 시작했는데 우리 쪽은 아직 갈 길이 남았다.
**공격자 예산을 크게 더 키우면 격차가 좁혀질 수 있고, 뒤집힐 가능성도 배제 못 한다.**
#### 구조적 교란 (순수한 "학습법 A vs B"가 아니다)
1. **league는 단판 정책이다.** carry도 매치 점수도 모른다. 더 털리는 것의 일부는
**학습 방법이 아니라 구조적 맹점** 때문일 수 있다.
2. **둘 다 greedy(argmax)로 뒀다.** 결정론적 정책은 **정의상 최대로 착취당한다.**
양쪽을 똑같이 대우했으니 비교는 공정하나, **절대값은 부풀려져 있다.**
#### 살아남는 주장 / 못 하는 주장
-**"동일 예산의 전담 공격자 앞에서 league는 뚫리고 우리는 안 뚫린다."**
- ❌ "우리 정책은 착취 불가능하다." — 하한선일 뿐이고, 우리 쪽 곡선은 아직 오르는 중이다.