AIヘッジファンド「Situational Awareness」がチップ初创Source Foundryに4億ドル

AIに特化したヘッジファンドとして知られるSituational Awarenessが、チップスタートアップのSource Foundryに4億ドルを投じたことが分かりました。同ファンドは一部で論争を抱えながらも大型の投資を続けており、AIインフラの根幹を支える半導体分野に資金を振り向ける姿勢が鮮明になっています。投資の細かな条件やSource Foundryが手がけるチップの仕様については、現時点では公開情報が限られており、今後の発表を待ちたいところです。

量子化の精度を底上げする「CKA-QAD」、NVFP4蒸留の新しい考え方

LLMを低ビットで高速・低コストに動かすNVFP4量子化では、精度低下を補うために高精度モデル（教師）の出力に合わせて量子化モデル（生徒）を学習させる「量子化対応蒸留（QAD）」が使われてきました。しかし新しい論文は、出力だけを合わせる従来手法では内部の表現が劣化していることが見過ごされがちだと指摘します。

研究チームはCKA（Centered Kernel Alignment）という指標で検証しました。KLダイバージェンスだけのQADでは、層ごとの表現の類似度がBF16の教師より低下し、特に強化学習で事後学習されたモデルで悪化が顕著になることが示されています。この表現のズレは推論やコーディングの性能低下と相関するといい、「出力分布が合っていても中身は壊れている」という落とし穴を浮かび上がらせています。

そこで提案されたのが「CKA-QAD」です。蒸留の過程で層ごとのグラム行列をCKAで整える軽量な正則化を追加し、内部の表現構造を保つ仕組みになっています。Nemotron 3 NanoとQwen3-4B-Thinking-2507で検証した結果、表現の整合性が大きく改善し、推論・コーディングの精度も訓練コストを大きく増やすことなく向上したと報告されています。ローカルLLMの低ビット運用に直接響きそうな、実用的な知見と言えそうです。

Gemmaチームが8月20日に特別イベント、コミュニティは「Gemma 4.1」を期待

GoogleのGemmaチームが8月20日に特別イベントを開催するとアナウンスし、ローカルLLM界隈で期待が高まっています。コミュニティからは、同イベントで統合された音声入力や最大120B規模のモデル、改善されたツール呼び出し、初期から高精度なQAT、そしてGemma 4が得意とする創作系の強みを維持したまま全体性能を引き上げた「Gemma 4.1」が登場することへの期待が挙がっています。

ただしこれらはあくまでコミュニティによる予想であり、公式が新モデルの発表を明言しているわけではありません。現行のGemma 4にもテンプレートまわりのバグなど改善の余地が指摘されており、次の一手がどうなるかはイベント当日まで待つ必要がありそうです。

Intel Arc Pro B60/B70向けに「llm-scaler」

Intelが公開した「llm-scaler」は、Arc Pro B60およびB70 GPUでのLLM実行を支援する取り組みです。実装の詳細は限定的ですが、Intel製GPUでローカルにLLMを動かしたい層にとっては選択肢が広がる意味がありそうです。NVIDIA中心のエコシステムに対してIntel陣営がどこまで食い込めるか、今後の展開が見ものです。

短報コーナー

  • LLMはどこまで賢くなれる？ — LLMの性能に理論的な上限はあるのかを、スケーリングやアーキテクチャ・データの制約といった観点から論じた考察が話題を呼んでいます。際限なく伸びると思われがちな現状に対し、原理的な限界に目を向ける意義のある視点です。
  • AIによる執筆への反論は2400年前から — AIが書く文章への批判は実は古代から存在した、という観点で歴史をひも解くエッセイが注目されています。技術批判を長い時間軸で捉え直す面白い試みです。
  • LLMの観測性ツール「Beacon」 — エラー追跡とLLMの観測性（オブザーバビリティ）を一つにまとめたセルフホスト型ツールがオープンソースで公開されました。本番運用でのデバッグや監視に役立ちそうです。