ローカルLLMのロングコンテキスト実態：13モデル徹底比較で浮かび上がった「本当のボトルネック」

RedditのLocalLLaMAコミュニティで、非常に詳細なローカルLLMベンチマーク結果が投稿されました。13モデル（Dense、MoE、Mamba2ハイブリッド、MLA MoE）を、512トークンから131Kトークンまで5段階のコンテキスト長で比較したものです。テスト環境はRX 7900 XT 20GB（Vulkan backend）、llama.cpp build 9860で、21時間かけて実施されました。

Finding 1: prefill速度がすべて — tg128はほぼ無関係

エージェントワークロード（ツール使用、コーディング、RAG）を想定した際、65Kコンテキストで短い出力（300トークン）を生成する場合、prefill（プロンプト処理）が全体の94〜99%の時間を占めることが判明しました。つまり、よく指標として使われるtg128（トークン生成速度）は、エージェント用途ではほぼ無関係と言えます。重要なのはpp65K/pp131K（65K/131Kコンテキストでのprefill速度）です。

Finding 2: KVヘッド数がパラメータ数より重要

もっとも影響力のあるアーキテクチャ要素は、パラメータ数でもMoE/Denseの違いでもなく、KVヘッド数でした。KVヘッドが4つ（×128 dim = 64 KB/token）のモデルは、8つ（160 KB/token）のモデルより128Kコンテキストで最大4.4倍速く、サイズが同じDenseクラスでもこの差が出ます。

Finding 3: Mamba2ハイブリッドが期待以上

Granite-4.0-H-Small（IBM、4 attention層 + 36 Mamba2層）は、131Kコンテキストでもpp4K時の69%の速度を維持しました。トランスフォーマーモデルはすべて42%未満に落ち込む中、この結果は注目に値します。固定の再帰状態を使うMamba2層はKVキャッシュの増大を抑えるため、長コンテキストでのスケーリングが平坦になります。現在は推論品質に課題がありますが、アーキテクチャとしては非常に有望です。

Finding 4: F16 KVキャッシュが量子化より速いケースあり

従来の「KVキャッシュは量子化すべし」という常識に反し、F16 KVキャッシュがQ8/Q4より20〜53%速いケースが確認されました。特にMoEモデルと小規模Denseモデルで顕著でした。これは量子化の復号（dequantization）計算コストが、コンテキスト長に比例して増大するためです。

実践的なまとめ

  • tg128ではなくpp65K/pp131Kをベンチマーク指標にする
  • モデル選択時はパラメータ数より先にn_kv_headsとhead_dimを確認する
  • エージェント用途のコンシューマーVRAMではMoEモデルがベストバランス
  • F16 KVキャッシュを実際のコンテキスト長で試す価値がある

Hugging FaceとCerebrasが発表した speech-to-speech — コマンド1つで動く音声対話AI

Hugging FaceとCerebrasが7月1日に「speech-to-speech」ツールを公開しました。音声で話しかけて返事が返るまでの「間（ま）」を極限まで短縮する設計で、コマンド1つでローカル環境に構築できるのが特徴です。

数百ミリ秒の遅延が対話AIの体感を大きく左右するという観点から、低レイテンシの音声対話を実現するアプローチとして注目に値します。詳細なセットアップ手順やパフォーマンス検証については、元記事を参照してください。

DeepSeek V4 ProをCodexに直結したら失敗した — Claude Codeでは動くのに

Codex（OpenAIのコーディングエージェント）にDeepSeek V4 Proを直接接続する試みが報告されました。Claude Codeでは問題なく動作するのに、Codexでは推奨できないという結果になったとのことです。

この「一見矛盾した現象」について、各エージェント環境とモデル間の互換性やツール使用のプロトコル差が影響している可能性が指摘されています。実際の開発現場で、ツールの選定やモデルの組み合わせを検討する上で参考になる事例です。

AI業界週報：カルパシー氏のAnthropic移籍など（dera AI Weekly Vol.32）

Qiitaで週次AIニュースまとめ「dera AI Weekly」のVol.32が公開されました。2026年5月25日号として、以下のトピックをカバーしています：

  • OpenAI共同創業者のアンドレイ・カルパシー氏がAnthropicへ移籍
  • Google I/Oでの新発表
  • エージェント技術の進化と人材流動の加速

AI業界の競争が激化する中、トップ人材の流動とエージェント技術の方向性を把握するのに役立つまとめです。