LLMの推論はいつ有効なのか ― エントロピー相転移で判定可能に

Chain-of-Thought（CoT）推論はLLMの能力を引き出す標準的な手法として広く使われているが、実際には事実確認やオープンエンドのタスクでは効果が薄く、逆にトークン消費を増やすだけのケースも少なくない。このパラドックスに「いつ推論が本当に役立つのか」という問いに答える研究が発表された。

論文「When Do LLMs Reason?」は、LLMの推論能力をタスクやモデルの静的属性ではなく、生成中の動的なデコーディング状態として捉え直す。生成初期のエントロピーのダイナミクスを分析した結果、CoTが有効なタスクでは一貫したエントロピー低下が観察され、そうでないタスクでは不安定または上昇傾向を示すことが分かった。

この振る舞いは相転移のような現象として解釈できる。つまり、LLMが「推論モード」に入るかどうかは、生成の極めて早い段階で決まる可能性がある。この知見は、推論リソースを適切に配分するための実用的なシグナルとして活用できる可能性を秘めている。

モデル崩壊を「文化進化」で言語学的に説明

LLMを自身の出力で再学習させると性能が漸次的に劣化する「モデル崩壊」現象は、統計的には説明されていたものの、どのような言語構造がどの順序で崩壊するのか、なぜそうなるのかは分かっていなかった。

「Model Collapse as Cultural Evolution」は、文化進化の分野で知られる反復学習理論がこのギャップを埋めることを示した。LLaMA-2-7BとMistral-7Bを英語・ドイツ語・トルコ語で10世代にわたり自己学習させる実験を実施。

最も重要な発見は、構成性（compositionality）が非単調な軌跡をたどること。つまり、フィルタなしの自己学習では構成性が最初は上昇し、その後低下する。この特徴は、完全に規則的な初期データでも観察され、ノイズ除去では説明できない。この「シグネチャ」は、モデル崩壊が単なる統計的な退化ではなく、言語構造の体系的な再編成であることを示唆している。

VLMのベンチマークは「視覚」を本当にテストしているのか

Vision-Language Model（VLM）のベンチマークスコアが視覚理解を反映しているという前提に、重大な疑問が投げかけられた。

「Seeing without Looking」の研究チームは、画像トークンの大部分を削除しても、広く使われているハルシネーションベンチマークでの性能低下がわずかであるという驚くべき観察から出発。オープンソースVLM群に対して、グローバルな視覚劣化、局所的遮蔽、質問の再構成、回答空間の拡張、精度以外の決定レベル分析など、複数の粒度で調査を行った。

さらに、視覚トークンの幾何学的構造をレイヤーごとに分析。結果として、多くのVLMはテキストの手がかりや事前知識に大きく依存しておおり、実際の視覚的証拠への依存度は見かけほど高くないことが示された。これはVLM評価の在り方に根本的な見直しを迫る内容だ。

LLM同士がテキストなしで通信 ― Latent Cache Flow

現在のLLMエージェント間の通信はテキストを介して行われるが、これには大きなレイテンシと情報損失が伴う。最近のCache-to-Cache（C2C）研究はKVキャッシュの変換でこれを解決しようとするが、アダプタが大きく、コンテキストが同一でなければならないという制約があった。

「Latent Cache Flow（LCF）」はこの問題に取り組む新しい手法。キーとバリューを共同で変換・圧縮することで、アダプタサイズをC2Cの約4%に縮小。さらに、異なるコンテキストを持つモデル間でも機能するよう、ターゲットモデルが持たない新規情報の要約を送信する設計となっている。

初期実験では、わずか13MBのLCFアダプタで、テキスト通信を上回る性能を示しており、マルチエージェントシステムの通信効率を劇的に改善する可能性がある。

AIには「決定論的地平線」がある ― 推論の限界を証明

LLMがソフトウェアを書き、法的文書を作成し、臨床記録を生成する中で、計算の根本的な限界を考慮することは重要だ。

「The Deterministic Horizon」は、チューリングの限界やアローの不可能定理、No Free Lunch定理といった不可能性結果を、単なる理論的な興味対象から実用的な設計ルールに変える論文。メインの成果は、アーキテクチャだけで決まる精度の上限を証明したこと。

推論深度が臨界点を超えると、どれだけ学習しても、どのアダプタランクでも、どの損失関数でも上限を動かせない。この「Deterministic Horizon」は、デプロイ前にレイヤー数と埋め込み幅から計算可能で、12のTransformerアーキテクチャで19〜31の間と測定された。最適な長さのトレースでファインチューニングしても、改善は4ポイント未満にとどまるという。

これはAIの能力限界を事前に予測・設計に組み込むための重要な一歩と言える。