ローカルLLM界隈では、KVキャッシュの低ビット量子化を工夫して消費者向けGPU一枚で1Mトークンのコンテキストを動かした報告が注目を集めた。半導体側ではIntelがAIデータセンター需要を見込み150億ドルの公募増資を実施。一方、AI生成の低品質コンテンツ「スロップ」への反発がプラットフォームの政策を実際に変えつつある。

ローカル推論が「1Mコンテキスト」に手が届く

RedditのLocalLLaMAコミュニティで、24GBのVRAMを持つGPU一枚で約1Mトークンのコンテキストを動かし、文中の複数箇所に隠した「針」を取り出せたという報告が話題を呼んだ。RTX 3090単体に17GBほどのVRAMを占めるモデルを載せ、BeeLlama.cppのフォークと組み合わせた構成という。

鍵はKVキャッシュの量子化手法にある。Huaweiが提案した「KVarN（分散正規化付きKVキャッシュ量子化）」をKとVの双方に4-bitで適用した結果、標準的なq4量子化では崩壊していた長文脈の精度が安定したという。情報そのものは消えず、読み出し側の表現が壊れるという構造で、低ビットでも「どこまで実用に耐えるか」の見方が変わりつつある。

「単体GPU・消費者向けVRAMで1Mコンテキスト」という条件は、これまでサーバー級の環境を前提にすることが多かった超長文処理を、ローカルで試すハードルを大きく下げる意味を持つ。

同じくローカル推論の工夫として、Hacker Newsでは250ドルのFPGAで小規模LLMを毎秒21,000トークンで生成するデモが公開された。高価なGPUに頼らない推論ハードの選択肢が少しずつ広がっている。

Intelが150億ドルを公募増資、AIデータセンター需要に賭ける

Intelは150億ドルの普通株を公募増資すると発表した。調達資金は一般企業目的としつつ、physical AI、専用シリコン、先端パッケージング、外部ウェーハといった「成長機会」の強化に充てる方針を示している。AIデータセンター需要の盛り上がりで投資家マインドが好転している追い風のなか、強固な財務体勢と投資家適格格付けの維持を両立させたい構えだ。

インフラ投資の動きはほかにも及んでいる。BloombergはAnthropicがオーストラリアのMacquarieとシンガポールのGICと組んでAIデータセンター向けの合弁を設立したと報じた。現時点では公開情報が限られ、規模や詳細は確認できていない。

AIスロップ離れがプラットフォームの政策を動かす

WIREDは、AI生成の低品質コンテンツ「スロップ」に対する反発が実際にプラットフォームの行動を変えつつあると伝えた。AI生成物をフラグ・ラベル付け・禁止するツールや方針を導入するサイトやアプリが相次いでおり、「ユーザーはスロップを求めていない」との認識が業界に浸透し始めたという。

規制の圧力ではなく、消費者の拒否反応そのものがサービス設計に反映され始めた点が、これまでの議論とは少し違う重心を持っている。

メモ：新興研究とチップ素材への資金

  • チップ素材の探索に900万ドル：Discovered Materialsは、より効率的なチップ用新材料を探索するため900万ドルを調達した。
  • 解釈可能性の逆説：Hugging Faceの論文で、他モデルの内部状態を質問応答する「Activation Oracle」を、何かを隠す被験体でファインチューニングすると特定の概念だけを読めなくなる「concept-specific anti-reading」現象が報告された。情報は失われておらず、読み出しのマッピングが壊れるという。