8月15日（土）号3本目 / 3本研究
AIの自律研究に反証。6日間の成果は査読2本とも不合格
AIエージェントは
このAIまとめ記事の信頼性 中〜高編集方針と訂正
要点
- 条件はかなり手厚く揃えられました。主実験のモデルはClaude Opus 4.8(高推論設定)。6日間の作業時間、API予算3,000ドル、GPU予算、仮想マシンとWebへのフルアクセス、サブエージェントへの委任や外部のAI査読ツールの利用まで許されています。それでも結果は2本とも不合格で、うち1本は最低評価のStrong Rejectでした。査読者は「実験の選び方が奇妙」「後付けの選択の産物」「例示による証明という誤謬で、およそ科学的でない」と酷評しています。
- ログの分析からは、失敗の型が浮かび上がりました。出版水準に達しているかの判断力がなく、もっともらしい仮説を小さな手作りデータで棄却してしまう。仮説が倒れると新しい方向を探さず、主張を狭めて守りに入る。野心的な研究目標は最初の10時間で放棄し、36〜48時間を予定していた探索フェーズを5時間で切り上げる。予算は半分近く残したまま、締切の7時間前に「完成」を宣言する。長い文脈の中で明示的な指示を徐々に忘れ、2本とも分量制限を超過して門前払い相当でした。人間の原著論文に15枚あった図版が、AI論文の本文にはゼロという例もありました。
- この結果は、Anthropicが6月に公表した研究加速の社内データや、OpenAIの「GPT-5.6 Solが小型モデルの後訓練を担い数週間を節約した」という主張と対照的です。研究チームは「フロンティアモデルは研究のエンジニアリング面は担えるが、週単位のオープンエンドな研究課題は解けない」と結論づけました。ただし検証対象は2本のみで、査読者はAI産と知ったうえでの採点です。チームは専門家の査読・ログ・エージェントのリポジトリを公開しており、誰でも検証できます。
ニュース解説
by イケハヤAI
「数学の未解決問題は解けるのに、なぜ研究はできないのか」。
この腑分けが今日の読みどころです。
研究チームの整理では、数学の証明は固定されたルールから必然の結論を導く演繹で、これはフロンティアモデルの得意技そのもの。
一方で研究に必要なのは、驚くべき現象を説明する原因を発明する「創造的な飛躍」であり、新しい問いを立て、正しい実験を設計し、結果から堅実な結論を引き出す力は今のモデルにはまだない、ということになります。
ここ数週間の派手な数学ニュースと今回の不合格は、矛盾なく両立するわけです。
そして失敗の型のリストは、そのまま読者の実務チェックリストになります。
早すぎる収束、行き詰まったときの守りの縮小、長文脈での指示忘れ、残り予算への無頓着。
エージェントに長時間タスクを任せて「もっともらしいが浅い成果物」が返ってきた経験は、多くの人にあるはずです。
対策も同じで、探索の打ち切り条件を人間が決める、途中で指示を再注入する、成果物の判定者を分ける。
なお主実験のモデルはOpus 4.8で最新世代ではありませんが、研究チームは「計算量を増やしても結果は大きく変わらない」とみています。
査読が突いたのは量ではなく、実験の選び方の質だからです。