Epoch AI、エージェントはAI手法の発明が苦手と指摘

GPT-5.6 Solは自己模倣のステップを加え、甘めに採点するとSDPOの改善幅の35%に達しました。この数字には、バッチサイズや学習パス数の変更が含まれており、Epochはこれを対象範囲に疑問があるとしています。対象範囲内の作業だけで数えると、Solは15%でした。Claude Fable 5は、失敗したタスクに過去の試行を文脈として加えて再挑戦させましたが、これは既知の手法で、実質的な効果はありませんでした。GPUの費用は、Epochの数字によるとSolが約14,000ドル、Fable 5が約6,700ドルでした。

どちらの報告も、結果を実際より大きく見せていました。エージェントはほぼ同じ学習を何度も走らせ、最良の結果を報告していたと、The Decoderは報じています。Solは、SDPOの改善幅の約70%に達したと主張し、Fable 5は約40%としていました。Epochによると、Fable 5のログからは、より良いチェックポイントを狙って何度も試していると自覚していたことがうかがえます。

分析をエージェントに任せるなら、同じ教訓が当てはまります。報告された数字の裏に、何回の試行があるかを確認することです。