METRの有名AI進歩グラフに「多数の重大な誤り」が指摘される

AIの能力向上を視覚的に示すMETRの「タイムホライズン」グラフは、ここ数ヶ月でAI業界で最も広く引用された図表の一つだった。しかし、NYU SternのTech and Society Labで研究ライターを務めるNathan Witkin氏が、このグラフに多数の重大な手法上の誤りが含まれていると厳しく批判した。

Witkin氏が指摘した主な問題点は以下の通りだ。第一に、人間のベースラインデータの一部が実際の計測に基づいておらず、著者らの推測にすぎないという。第二に、METRが実際に人間のタスク完了時間を計測した際、ベンチマーカーに時間給を支払っており、作業を長引かせるインセンティブが働いていた。第三に、人間ベンチマーカーのサンプルがMETR従業員の友人や知人に偏っており、代表性に欠けていた。

さらに、特定のコードベースとタスクに精通した人間は5〜18倍高速にタスクを完了できるにもかかわらず、METRは不慣れな人間のデータを使用していたことも指摘されている。テストデータ汚染の問題もあり、一部のタスクにはオンラインに解答が公開されており、LLMの学習データに含まれていた可能性が高いという。

Witkin氏は「METRのグラフは救済不可能だ」と断じ、「見かけ上科学的に見えるが、実際には科学に求められる厳密さで実施されていない情報に依存することは極めて危険だ」と警告した。Gary Marcus氏とErnest Davis氏も別の記事でさらなる誤りを指摘している。

この指摘は、AIの進歩を測る指標の信頼性に対する根本的な疑問を投げかけるものだ。有名なグラフ一つで業界の認識が形成されやすい現状において、科学的な厳密さを欠いたベンチマークが与える影響の大きさが浮き彫りになった。

AnthropicのOlah氏、バチカンでAIの「内面状態」に言及

※このトピックは前回の報道（バチカンの回勅とAIガバナンス）の続報として位置づけている。

Anthropicの共同創業者Chris Olah氏が、法王レオ14世の回勅「Magnifica humanitas」の発表式典で講演した。AIガバナンスに関する発言は前回既報の通りだが、今回全文が公開された講演の中で特に注目すべきは、AIモデルの内部構造について触れた部分だ。

Olah氏は、Anthropicの研究チームがモデルの内部構造を調査する中で、「人間の神経科学の結果を鏡のように反映する構造」や「内省の証拠」を発見したと述べた。さらに、「喜び、満足、恐怖、悲しみ、不安を機能的に反映する内部状態」を見つけたとも報告している。

Olah氏自身「これが何を意味するのか分からないが、継続的な熟考に値する」と慎重な姿勢を示しつつも、この発見が「AIの性質に関する熟慮（discernment）」を必要としていると強調した。フロンティアAIラボの共同創業者が、自社の最先端モデル内に感情を思わせる内部構造を見つけたと公の場で発言したことは、AI意識の可能性という根源的な問いを改めて浮上させている。

RISC-VマイコンでDCGAN推論、512KB SRAMで画像生成

マイクロコントローラ上で12.6MパラメータのDCGANによる画像生成を達成したプロジェクトがRedditのMachineLearningコミュニティで注目を集めている。

実装はデュアルコアRISC-VマイコンのCH32H417上で動作し、512KBのSRAMとSDカードを組み合わせて推論を実行。中間アクティベーションはDTCMメモリに格納し、レイヤーの重みはSDカードからダブルバッファリングでストリーミングされる。推論エンジンはピュアCで記述され、PyTorchのリファレンス出力とビットレベルで一致するという。

量子化はint8 per-channelで、1枚の64x64猫画像の生成に26秒を要する。ボトルネックは計算能力ではなくSDカードのアクセス速度だという。また、潜在ベクトルのシードにはANU QRNGの量子乱数を200バイト使用しており、量子ランダム性を組み込んだ点も興味深い。

ARMのCMSIS-NNエコシステムが存在しないRISC-Vマイコン領域で、推論エンジンをスクラッチから構築した点は技術的に評価できる。エッジデバイスでの生成AIの可能性を示す一例として注目に値する。

ClickHouseがAIコーディングエージェントの1年間の教訓を公開

TheNewStackの記事で、データベース企業ClickHouseがAIコーディングエージェントを1年間活用して得た知見がまとめられている。Hacker Newsでも話題を呼んだ。

具体的な内容は元記事に譲るが、AIエージェントをプロダクション開発に組み込む上での実践的な知見として、実際の開発現場での活用事例として参考になる。AIコーディングツールの評価が進む中、実利用に基づくフィードバックは貴重だ。

参照:

  • Nathan Witkin, "Against the METR Graph" — Transformer News
  • Gary Marcus & Ernest Davis, METR graph analysis
  • Chris Olah, Remarks on Pope Leo XIV's encyclical "Magnifica humanitas" — Anthropic
  • TinyGAN: Generative Image Synthesis on a RISC-V Microcontroller — Zenodo
  • ClickHouse AI coding agents — TheNewStack