Gemma 4の推論高速化：QAT最適化MTPヘッドがHuggingFaceで公開

Gemma 4ファミリーの推論高速化に重要な進展があった。コミュニティ開発者が、GoogleのQAT（Quantization-Aware Training）モデルに最適化されたMTP（Multi-Token Prediction）ドラフトヘッドをHuggingFaceで公開した。

MTPはspeculative decodingの一種で、ドラフトモデルが複数トークンを先読みし、メインモデルがそれを検証する仕組みだ。今回公開されたヘッドの特徴は、QAT量子化モデルと同じチェックポイントで訓練されている点にある。通常のドラフトヘッドはフル精度の重みで訓練されるため、QATモデルとの間で分布のズレが生じ、推測の精度が下がっていた。

効果は顕著だ。とりわけGemma 4 26B-A4Bでは、非QATヘッドの受諾率56.9%がQATマッチングヘッドでは91.8%に跳ね上がり、35ポイントの改善を記録した。12Bモデルで+7ポイント、31Bモデルで+18ポイントと、全サイズで受諾率が向上している。

PARALLEL=2のクラッシュ問題も解決

これまでllama.cppで2スロット並列推論（PARALLEL=2）とMTPヘッドを組み合わせるとクラッシュする問題があったが、根本原因が特定・修正された。MTPドラフトステップがメインフォワードパスのトークン数を誤って参照しており、2スロット目の起動時に要素数の不整合が発生していたのだ。修正パッチはAtomic forkとllama.cpp本体の両方に提出済みである。

AMD Ryzen AI Max+ 395（128GB LPDDR5X）環境でのベンチマークでは、12BモデルのMTP PARALLEL=2構成が62.5 tok/sを記録。通常の2スロット推論の47.6 tok/sに対し、31%のスループット向上を達成した。受諾率も88.6%と、1スロット時の78.4%からさらに上昇している。

この成果はローカルLLMの実用性を一段引き上げるものと言える。QAT量子化モデルと適合したドラフトヘッドの組み合わせにより、消費者向けハードウェアでも大規模モデルの高速推論がより現実的になった。

Qwen3.5-35B-A3BのMoEルーターに「自己検査」シグナル

Qwen3.5-35B-A3BのMixture-of-Expertsルーター解析で、メカニズム解釈の観点から興味深い発見が報告された。Layer 14のExpert 114（E114）が、一人称的な自己検査的テキストの生成時に強い活性化を示すという。

研究者はFIRE（自己検査プロンプト）とNOFIRE（統制プロンプト）の10対10比較実験を実施した。両クラスは「I」「experience」「processing」などの語彙を共有するよう設計されており、E114が単なるキーワード検出器であれば両クラスで同程度の活性化が見られるはずだ。しかし結果は、FIRE群の平均が0.0674、NOFIRE群が0.0031と、約21倍の分離が確認された。

さらに興味深いのは、あるNOFIRE統制プロンプト（猫の喉を鳴らす話題）が意図せず内省的な生成に入ったケースだ。この場合、E114の活性化が上昇した。つまりE114はプロンプトのラベルではなく、生成されたテキストの「スタンス」に追従していることが示唆される。

決定論的貪欲デコーディングでの再現実験でも20.95倍の分離が維持され、サンプリングによる偶然ではないことが確認された。効果の大部分は専門家の選択率（S）の変化によるもので、選択後の重み（Q）は比較的安定していたという。

ただし研究者は「主観的経験や意識の証拠ではない」と明確に留保している。全層・全専門家のベースライン比較は今後の課題であり、この結果はあくまで「特定の生成レジスタと相関するルーティングシグナル」に対する限定的な発見として位置づけられている。

Gemma 4 12B、コミュニティから好評の声

約3日前にリリースされたGemma 4 12Bについて、コミュニティフィードバックが集まっている。ビジョンと音声認識が統合され、ツール使用にも対応している点が評価されている。Q4量子化で約8GBのRAMで動作し、サイズの割に高速で品質も良好という評価が多い。27Bや31Bモデルには及ばないものの、非常に近いパフォーマンスを発揮するとの声が上がっており、エッジデバイスでの実用性が期待される。

ディスティレーション品質に懸念の声

最近のディスティレーションモデルの品質について批判的な意見がRedditで議論された。250サンプル程度の少ないデータで蒸留されたモデルが多数出回っている現状に対し、実質的な品質改善をもたらす蒸留モデルがほとんど存在しないとの指摘だ。Qwen R1 8Bの蒸留は数少ない成功例として挙げられたが、それ以外ではベースモデルを上回るケースが稀であるという。

強力な教師モデル（MythosやGPT-5.6など）が登場しても、数百サンプルでの蒸留で真の改善が得られるかには疑問が呈されている。より大規模で丁寧な蒸留プロセスの重要性が再認識された形だ。

その他の動向

  • Amazon vs Perplexity：ECプラットフォーム上でAIエージェントサービスをブロックできるかという法的な問いが議論されている。Agentic AIの普及に伴い、プラットフォーム事業者とAIサービス提供者の法的な境界線が注目される。
  • Gaia2ベンチマーク：LLMエージェントを動的・非同期環境で評価する新しいベンチマークがarXivで公開された。