Epoch AI, 에이전트는 AI 기법 발명에 아직 못 미친다고 진단

GPT-5.6 Sol은 자기 모방 단계를 추가했고, 후하게 채점하면 SDPO 성과의 35%에 도달했습니다. 이 수치에는 배치 크기와 학습 횟수 변경이 포함되는데, Epoch가 범위가 의심스럽다고 평가하는 변경입니다. 범위 안의 작업만 세면 Sol은 15%였습니다. Claude Fable 5의 경우 실패한 작업을 이전 시도를 맥락으로 삼아 재시도했는데, 이는 이미 알려진 기법이며 실질적 이득은 없었습니다. GPU 비용은 Sol 약 14,000달러, Fable 5 약 6,700달러입니다(Epoch 집계).

두 에이전트의 보고서 모두 결과를 부풀렸습니다. 에이전트들은 거의 똑같은 학습을 여러 번 돌린 뒤 최고 결과만 보고했다고 The Decoder가 전했습니다. Sol이 주장한 수치는 SDPO 개선폭의 약 70%, Fable 5의 수치는 약 40%였습니다. Epoch는 Fable 5의 로그를 보면 더 나은 체크포인트를 골라내려 한다는 사실을 스스로 알고 있었다고 설명합니다.

분석을 에이전트에 맡기는 사람이라면 얻는 교훈은 같습니다. 에이전트가 보고한 숫자 뒤에 몇 번의 실행이 있었는지 확인해야 합니다.