本日は研究色の濃いニュースが並んだ。LLMの内部に人間の脳と同じ「機能分化」が自然にできあがっていたという回路分析、ImageNetの正解ラベルの約12%が誤りだったとする大規模な再アノテーションの成果、モデル更新で起きる「一部だけ劣化」を予測する難しさを検証した論文に加え、BERT登場から8年間の進化を整理した総括報告も公開された。国内からは、PFNが国産AIをゼロから開発する理由を担当者に聞いたインタビューと、味の素の生成AI加工画像をめぐる謝罪を取り上げる。

LLMの内部に、脳と同じ「分担」が自然発生していた

人間の脳は、言語、形式推論、他者の心についての推論、物理世界についての推論といった機能を、互いに異なるネットワークに振り分けている。この「モジュール性」が生物の脳を形作った進化上の偶然なのか、それとも知能に一般的に成り立つ原理なのか——arXivに公開された研究は、この問いをLLMで検証した。

4つの認知ドメインにわたる46タスクについてLLM内部の回路を分析したところ、人間の脳で同じネットワークを頼るタスクはLLMでも重なり合うニューロンを使い、別々のネットワークを頼るタスクは異なるニューロンを使うことが分かったという。進化と事前学習というまったく異なる過程を経た二つの系で似た構造が収斂的に出現したことは、モジュール性が知的システムの根本的な性質である可能性を示唆する、と著者らは述べている。

ImageNetの正解ラベル、約12%が間違いだった

コンピュータビジョンで最もよく引用されるベンチマークImageNet-1kについて、プラハ・チェコ工科大学のチームが検証セットの包括的な再アノテーションを完了し、「ReImageNet」として公開した。マルチラベル対応、物体位置の修正、クラス定義の見直し、意味的属性の付与を含む大規模な作業で、判明したのは次のような数字だ。

  • 元のラベルの約12%が誤り
  • 33.3%の画像が複数クラスに該当するマルチラベル
  • 3.8%の画像にはImageNet-1kのクラスに該当する物体が写っていない

新しいラベルで測り直すと、教師ありモデルのtop-1精度は最大で1.2%、マルチモーダルモデルでは5〜6%上昇するという。つまり、モデルの実力がデータセットのノイズによって過小評価されていた可能性を意味する。問題はImageNetから派生したテストセットにも波及しており、特定のベンチマーク固有ではなく構造的な課題だと論文は指摘する。ImageNet規模のアノテーションは一巡では完了せず、適切な道具を備えた人間とLLMの協働が現在の品質の天井だ、という結論も示された。

モデル更新で「前はできていたこと」が壊れる——予測は簡単ではない

フロンティアLLMは頻繁にバージョンアップされ、平均的な性能は前任を上回る。ただし個々の入力に目を向けると「旧モデルでは正解だったのに、新モデルでは誤答になる」というサンプル単位の劣化（リグレッション）が起きうる。この劣化を、推論時に手に入るシグナルから予測できるかを体系的に比較した研究が出た。

単一モデル内のシグナル（信頼度、logitマージン、注意エントロピー）と、バージョン間のシグナル（出力KL、尤度ドリフト、表現ドリフトなど）を、3系統のタスク（選択式QA、数学推論、コード生成）・6ベンチマーク・6組のモデル更新ペアで検証。結果は(1)有効なシグナルはタスクによって異なる、(2)どの更新でも最善という万能なシグナルは存在しない——というものだった。一方で、信頼度が機能しない場面でも有用な交差バージョンシグナルがあり、ラベルなしでも使えるため、劣化リスクの高いサンプルだけ旧モデルへルーティングする「選択的フォールバック」の実証にもつながったという。モデル更新を運用する現場への実務的な指針と言えそうだ。

BERTから8年——コーディング能力は年およそ6倍、コストは急落

2018年10月のBERT登場から2026年7月までの8年間を対象に、言語モデルの進歩を整理した総括論文も公開された。実際のコーディング課題を解決する能力は2024年後半以降、ほぼ年6倍のペースで向上してきたと分析している。

コスト面の変化も大きい。OpenAIの低価格モデルGPT-5.6 Lunaは100万トークンあたり1〜6ドルでフラッグシップ級の能力を提供しており、価格の桁が変わったことを指摘する。さらに最高性能は単一モデルに集中せず、フロントエンド実装はClaude Opus 5、リポジトリ規模のコーディングはClaude Fable 5、ターミナル作業はGPT-5.6 Solという具合に、タスク特化型のモデルへ分裂したとまとめる。Qwen 2.5を使った小規模な実験では、基本的な手法で100問中58問、高度なサンプリングで最大79問を解き、確信度ランキングは上位50問のうち47問を正解に振り分けたという。研究資料はすべて公開されている。

PFNはなぜ「国産AI」をゼロから作るのか

国内トピック。ITmediaのインタビューで、Preferred Networks（PFN）の担当者が「国産」をうたうAIモデルをゼロから開発する理由を語った。海外の大手が基盤モデルを次々と投入する中で、あえてフルスクラッチにこだわる「自家製ならではの利点」が何か、というテーマで聞いている。既存モデルの利用では得られない自由度や、自前で開発を進めることで見えてくる選択肢について、担当者の視点から紹介する内容となっている現時点では詳細は記事本体で確認したい。

生成AIで「ほんだし」のラベルが崩れ、味の素が謝罪

生成AIを使った画像加工の品質問題が身近なところでも起きた。味の素は8月16日、レシピサイト「味の素パーク」の公式Xで8月14日に投稿した画像について謝罪した。生成AIによる加工の際に、商品のラベルや文字の一部が乱れていたという。

生成画像では文字や細部の崩れが起きやすいことが技術的に知られてきたが、実在ブランドの公式アカウント運用に持ち込まれた事例として、公開前の検品プロセスの重要性を改めて浮き彫りにした形だ。