ローカルLLMの実用線がまた一段引き上がった。Hugging Faceのトレンドに上がった新しいチェックポイントは、スマホクラスのメモリ量で350億パラメータ級のモデルを動かすものだ。一方でハードウェア側には「計算力ほどメモリ帯域は伸びない」という構造的な壁が可視化されつつある。今週の収集データから、実装と研究の両面で興味深い流れを整理する。

スマホ級メモリで35B MoE──Edge0-35B-A3Bプレビュー公開

Hugging Faceのトレンドモデルに現れた「Edge0-35B-A3B-preview」は、35BのMoE(混合エキスパート)モデルを3GiB未満のアクティブメモリで実用速度で動かすことを掲げた早期プレビューだ。仕組みの核心は、4bit量子化したチェックポイント全体をストレージに置いたまま、ルーティングされたエキスパートだけをオンデマームでRAMにストリーミングする点にある。メモリ使用量がパラメータ数ではなく「実際に使うエキスパートの集合」で決まるため、事前の weights ダウンロードもシャーディングも不要という。

速度の見通しも示されている。デコードは15トークン/秒、長いプロンプトの処理(prefill)は140トークン/秒。エキスパートの読み込みを待つと推論が止まってしまう問題には、ルーティング先を1ステップ先に予測する学習済みヘッド「prerouter」でフォワードパスと重み読み込みをオーバーラップさせ、最大59%のデコードスループット向上を確保したという。量子化による品質劣化はRecover-LoRAと呼ぶ蒸留で補い、int4版はfp16ベースから3.9ポイント以内に収まるとされる。

まだ「パイプラインの早期プレビュー」と明記されており実用評価はこれからだが、モデルをRAMに全載せする前提を外す設計思想は、ローカル推論の敷居を大きく下げる方向にある。プレビュー段階の主張は実際の稼働環境での検証を待ちたい。

Micronのチャートが描く「メモリウォール」──計算3倍、帯域2倍未満

Hot Chips 2026でのMicronのメモリチュートリアルで示された1枚のチャートが、RedditのLocalLLaMAコミュニティで注目を集めている。内容はシンプルな対比だ。TPU v3からR200までの正規化TFLOPSは2年で約3倍ずつ伸びる一方、HBM2eからHBM4までの帯域は2年で2倍にも達しない。チャートは両対数スケールのため、実際の乖離は見た目よりさらに大きい。

興味深いのは「では現場はどうしているのか」を3段階の処方箋としてまとめている点だ。(1)計算ユニットの横にメモリを置く、(2)より短いリンクでメモリを近づける、(3)メモリ内部に演算ユニットを組み込む──の3つで、3つ目はSamsungがすでにLPDDR5Xで出荷しており、llama 3.1 8Bで3.01倍のトークン/秒を実測したとされる。

LLM推論の速度がメモリ帯域で律速しやすい以上、この「メモリウォール」はベンチマークスコアやトークン単価の議論と直結する。冒頭のEdge0がストレージストリーミングで乗り切ろうとしているのも、同じ壁の別の解き方と言える。

LLMジャッジは「優秀な被評価者」に甘い──能力依存バイアスの実測

LLMにLLMを評価させる「LLM-as-a-judge」はコストの低さから広く使われているが、その信頼性を問う研究が2本揃って公開された。

1本目は絶対評価タスクでの系統的なバイアスの測定だ。4つのベンチマークと6モデル(判定側と被評価側の組み合わせ36通り)での分析で、次の結果が報告されている。判定モデル自身のタスク精度は判定精度と強く相関し(Pearson r >= 0.90)、方向性バイアスとは逆相関する。さらにどの判定モデルも、能力の高い被評価モデルを一貫して甘く採点する傾向(r >= 0.83)が見られたという。つまり「できるモデルほど、ジャッジには有利に働く」構造だ。研究チームは、複数ジャッジの判断を誤検出率のオンライン推定で重み付けする較正済み多数決(WMV)を提案しており、正解ラベルを必要としない点が実用的だ。

2本目のGAUGEは、タスク指向エージェントの評価ゲートに焦点を当てる。ペルソナを持つLLMユーザーシミュレータとの会話をLLMジャッジが採点し、高得点のエージェントを採用するというオフライン評価の普遍的な形だ。6プロバイダー・25エージェントを検証した結果、「満足した」と評価された会話の57.5%が実際には顧客のタスクを失敗させていた。満足度とタスク成功率は実質的に無相関で、この傾向は5つの評価者集団・2つのベンチマークで一貫していた。またゲートのランキングは能力差の大きい帯域では頑丈だが、実力が接近した上位モデル同士では識別力を失うという。

安価な自動評価に頼るほど、この種の構造バイアスがサイレントに効いてくる。ベンチマークの点がそのまま実力を意味しない時代は、すでに来ているのかもしれない。

幻覚には「圧縮の限界」という下限がある

事実の幻覚(ハルシネーション)は「知識がモデルに入っていなかった」問題として語られがちだが、それだけではないことを示す理論研究も公開された。「The Cost of Compression」は、クローズドブックQAを「N通りのクエリとK通りの答えがある世界で、M個の訓練事実をBビットに圧縮して格納する」設定で定式化する。導かれた誤り率の下限は、(1)観測済みの事実が圧縮で失われる歪みと、(2)未観測事実のカバレッジ欠損という2つの項にきれいに分かれた。

言い換えると、有限のメモリに事実を詰め込む以上、一度見た事実でも近似して保存せざるを得ず、その劣化分は原理的にゼロにできない。モデルを大きくせず幻覚を完全に消す、という願いに対して情報理論の側から「これだけは無理」という線を示した形だ。どこまでが本質的な限界で、どこからが実装の改善余地なのかを切り分ける議論の土台になりそうだ。

エージェントの暴走を止める「実行前の安いチェック」

LLMエージェント研究からは、失敗が静かに起こる問題への対処も出ている。「Look Before You Leap」と題した論文は、エージェントが発するアクション(シェルコマンドやファイル編集)のうち、エラーを出さずに間違った効果を生む「サイレント失敗」に着目。アクションが実行される前に決定的な静的検証を挟むという、安くて過小評価されている監視形式を提案している。

シェルコマンド9,930本・482ツールを対象とした評価では、無効なコマンドの95.8%を偽陽性10.0%で検出できた。構文チェックとバイナリ存在チェックは「オラクル完全」で偽陽性ゼロを維持し、偽陽性はすべてフラグチェック由来だったという。検証器は迷ったときは判断を保留できる設計になっており、「当て推量をしない」ことも設計に組み込まれている。エージェントの安全策として、重い監視モデルを足す前に試す価値がありそうだ。

GitHubがAI時代の現場用語10個を整理

国内報道によると、GitHubはソフトウェア開発の現場で急速に広がるAI関連用語を解説するガイドを公開した。「FDE」「ハーネス」「オープンウェイト」など主要10用語を整理しているという。会話の中で当然のように飛び交う言葉の共通理解を固める試みで、チーム内の用語ずれに悩む場面の助けになりそうだ。

今週の収集データ全体を見ると、研究側は「評価と監視の信頼性」、実装側は「メモリという物理的制約との付き合い方」という2つの軸に話題が集中していた。派手なモデルリリースの合間に、こうした地続きの問題意識が育っているのは注目に値する。