diff --git a/docs/plans/lost-cities-classic-3round.md b/docs/plans/lost-cities-classic-3round.md index 936c689..07364e5 100644 --- a/docs/plans/lost-cities-classic-3round.md +++ b/docs/plans/lost-cities-classic-3round.md @@ -581,3 +581,37 @@ Fable은 이것을 "가장 큰 누락 아이디어"로 꼽았다. 실측은 ** **흥미로운 점:** 우리는 **순수 셀프플레이**이고 league는 **착취자 구조를 학습에 넣은** 런인데, 그런데도 우리가 덜 착취당한다. 착취자 구조가 exploitability를 낮춰줄 것이라는 기대가 이 게임에서는 확인되지 않았다. + +### 착취자에 제대로 자금을 대고 재측정 (131M, 목표와 동일 예산) + +앞선 32.5M 측정은 **공격자가 목표보다 4배 부족**했다. 예산을 목표와 맞춰 다시 쟀다. +실측 확인: 착취자 learner 액션 **130.4M** (우리 상대) / **131.1M** (league 상대). + +| 얼려놓은 정책 | 착취자 승률 | 95% CI | 착취자 평균 마진 | 이전(32.5M) | +|---|---|---|---|---| +| **우리 매치 스택** (131.1M 학습) | **0.4657** | [0.455, 0.477] | **−5.5점** | 0.2278 | +| league (122.6M 학습) | **0.6295** | [0.619, 0.640] | **+28.8점** | 0.3213 | + +**CI가 전혀 겹치지 않고, 격차가 오히려 벌어졌다 (0.094 → 0.164).** + +**질적으로 선을 넘었다:** 제대로 자금 댄 전담 공격자는 **league를 아예 이긴다**(0.63, +28.8점). +반면 **우리는 여전히 못 뚫는다**(0.47, −5.5점). + +#### 우리에게 불리한 단서 (반드시 함께 읽을 것) + +- **둘 다 1000 업데이트 끝까지 정체 없이 오르고 있었다. 이 수치도 여전히 하한선이다.** +- **우리 쪽 착취자의 말단 기울기가 더 가파르다** (+0.031 vs +0.016 / 100 업데이트). + league 착취자 곡선은 꺾이기 시작했는데 우리 쪽은 아직 갈 길이 남았다. + **공격자 예산을 크게 더 키우면 격차가 좁혀질 수 있고, 뒤집힐 가능성도 배제 못 한다.** + +#### 구조적 교란 (순수한 "학습법 A vs B"가 아니다) + +1. **league는 단판 정책이다.** carry도 매치 점수도 모른다. 더 털리는 것의 일부는 + **학습 방법이 아니라 구조적 맹점** 때문일 수 있다. +2. **둘 다 greedy(argmax)로 뒀다.** 결정론적 정책은 **정의상 최대로 착취당한다.** + 양쪽을 똑같이 대우했으니 비교는 공정하나, **절대값은 부풀려져 있다.** + +#### 살아남는 주장 / 못 하는 주장 + +- ✅ **"동일 예산의 전담 공격자 앞에서 league는 뚫리고 우리는 안 뚫린다."** +- ❌ "우리 정책은 착취 불가능하다." — 하한선일 뿐이고, 우리 쪽 곡선은 아직 오르는 중이다.