LLMが「ツールが必要だと分かっているのに使わない」――最大54%の不一致を定量化

LLMのツール利用において、モデルが内部ではツールの必要性を認識しているのに実際にはツールを呼び出さない――あるいは逆に不要なのに呼び出す――という「知行のギャップ（knowing-doing gap）」が、最大54%に達することが新たな研究で明らかになった。

Hugging Face Daily Papersに掲載された論文「Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use」では、ツールの必要性を「モデル固有の能力」に基づいて定義する「model-adaptive tool necessity」という概念を導入。算術タスクと事実QAタスクにおいて、複数のモデルで「実際にツールが必要な場面」と「実際にツールを使う場面」を比較した。

結果は興味深い。モデルの隠れ状態をプローブすると、ツールの必要性シグナルとツール呼び出しシグナルはどちらも復号可能だが、後半のレイヤーでは両者がほぼ直交するようになる。つまり「必要かどうかの認識」と「実際に使うかどうかの行動」が内部表現として分離されているのだ。

さらに、不一致の大部分は「認識」の段階ではなく、「認識から行動への変換」段階に集中していることも判明した。モデルは内部でツールが必要かどうかを理解しているのに、その理解を実際のツール呼び出しに変換できていない。この知見は、エージェント型AIの信頼性向上において、認識の精度だけでなく「認識から行動への変換」の改善が不可欠であることを示している。

PUMA：推論モデルの「過剰思考」を26%削減しつつ精度を維持

推論特化型LLM（Large Reasoning Models）は長い思考チェーン（Chain of Thought）で高い性能を達成するが、しばしば解答がすでに安定した後も思考を続ける「過剰思考（overthinking）」の問題がある。トークンを無駄に消費し、レイテンシも増大させる。

新しく提案されたPUMA（Plug-and-play fraMework with redundancy Analysis）は、この過剰思考を検出・削減するフレームワークだ。PUMAは「推論レベルの意味的冗長性」に着目し、連続する推論ステップがもはや新しい進展をもたらさず、すでに確立した結論を反復している状態を検出する。

構成はシンプルだ。軽量な「冗長性検出器」が意味的に冗長な候補退出点をフラグし、回答レベルの検証が停止の安全性を確認する。5つの推論モデルと5つのベンチマークで評価した結果、平均26.2%のトークン削減を達成しつつ、精度と保持された思考チェーンの品質を維持した。

コード生成やゼロショット視覚言語推論への転移実験でも有効性が確認されており、推論の冗長性が汎用的かつ学習可能なシグナルであることが示された。

EndPrompt：短いシーケンスだけでLLMのコンテキスト窓を8K→64Kに拡張

LLMのコンテキストウィンドウを拡張するには通常、ターゲット長での学習が必要で、二次のメモリ・計算コストがかかる。しかし「EndPrompt」という新しい手法は、短い学習シーケンスだけで効果的なコンテキスト拡張を達成する。

発想はこうだ。長距離の相対位置距離にモデルを暴露するために、全長の入力を構築する必要はない。元の短いコンテキストをそのまま第一セグメントとして保持し、第二セグメントとして短い「端末プロンプト（terminal prompt）」を付加する。この第二セグメントに、ターゲットコンテキスト長に近い位置インデックスを割り当てる。

この2セグメント構成により、短い物理シーケンス内で局所的および長距離の相対距離の両方を導入できる。RoPE（Rotary Position Embedding）とBernstein不等式に基づく理論的分析も提供されており、位置補間が注意関数に対する滑らかさ制約を課すことを数学的に示している。

LLaMAファミリーモデルで8K→64Kへの拡張を試したところ、RULERスコア平均76.03、LongBenchでも最高平均を記録。LCEG（72.24）、LongLoRA（72.95）、フルレングス微調整（69.23）を上回りながら、はるかに少ない計算量で済んだ。長いシーケンスでの密な学習が必須という前提を覆す結果だ。

Google社内でAI研究者が計算リソース争奪戦――Bloombergが報道

Bloombergの報道によると、Google内部でAI研究者間の計算リソース（コンピュート）獲得競争が激化している。Googleは世界有数のAI研究機関であり、膨大なGPU/TPUリソースを保有しているが、研究プロジェクトの急増に伴いリソースの割り当てをめぐる社内政治が顕在化しているという。

Googleに限らず、Microsoft、Meta、Amazonなどでも同様の問題が起きているとみられる。フロンティアモデルの訓練には数千〜数万のGPUが必要で、ひとつのプロジェクトがリソースを占有すれば他のプロジェクトが停滞する。研究の方向性が「コンピュートを確保できるか」に左右される状況は、科学よりも組織政治が優先されるリスクをはらむ。

この構造的な問題は、AI研究の民主化という観点からも重要だ。一部の巨大企業に計算リソースが集中する中、学術界や小規模研究室の競争力低下が懸念されている。

NVIDIAが次世代AIプラットフォーム「Rubin」と6種の新チップを発表

NVIDIAのジェンスン・フアンCEOが、新たなAI向けプラットフォーム「Rubin（ルービン）」を発表した。このプラットフォームはすでにフル生産段階に入っており、6種類の新しいチップが含まれている。

Rubinは次の10年間のAI基盤を担う位置づけで、現行のHopper/Blackwellアーキテクチャの後継となる。詳細なスペックは限られているが、AIワークロードの急増に対応するため、训练と推論の両方で大幅な性能向上を目指しているとみられる。

NVIDIAはこれまでAI半導体市場で圧倒的なシェアを維持してきたが、AMDやIntel、さらにはGoogle（TPU）やAmazon（Trainium）などの自社開発チップとの競争も激化している。Rubinの発表は、この競争優位性を維持・拡大するための戦略的な動きと言える。

Sources: