LLMの継続学習で「幾何学的競合」が忘却の真犯人

LLMの継続ポストトレーニングにおける破滅的忘却（catastrophic forgetting）の原因を、パラメータの大きな更新ではなく「幾何学的競合（geometry conflict）」として定式化した研究がHugging Face Daily Papersに掲載された。

研究チームは、忘却は単に「更新量が大きすぎる」ことではなく、新しいタスクの更新が過去の更新によって形成されたモデルの現在の状態と幾何学的に非互換になる「状態相対的な更新統合の失敗」だと指摘する。共分散幾何に基づくシグナル「geometry conflict」を導入し、Qwen3 0.6B〜14Bで更新ノルム、部分空間の整列度、勾配競合と比較した結果、状態相対的な幾何学的競合が転移と干渉の発生を最もよく捉えることを示した。

この知見に基づき、データ不要の継続更新統合手法「Geometry-Conflict Wasserstein Merging（GCWM）」を提案。幾何学的競合をゲートとしてWassersteinベースのマージ補正を行うことで、リプレイデータなしで保持力と最終性能を向上させた。継続学習は「どれだけモデルを動かすか」だけでなく「各更新が進化するモデル状態と幾何学的に適合しているか」を制御すべきだという示唆は、今後のLLM運用に大きな影響を与えそうだ。

llama.cppでubatch最適化 — プロンプト処理が5.5倍に

RedditのLocalLLaMAコミュニティで、llama.cppの-ub（ubatch）パラメータを最適化することでプロンプト処理速度が劇的に向上することが実測値とともに報告された。

RTX 3090（24GB VRAM）でgpt-oss-120b-F16.ggufを動かしたテストでは、デフォルト設定の-ub 512で380.27 tok/sだったプロンプト処理が、-ub 4096では1682.47 tok/s、-ub 8192では2090.68 tok/sに達した。デフォルト比で約5.5倍の高速化だ。一方、トークン生成速度は32.29 tok/sから30.05 tok/sへ約7%の低下にとどまった。

トレードオフとして、より大きなubatchにはGPU計算ワークスペースが多く必要になるため、MoEレイヤーの一部をCPUにオフロードする（--n-cpu-moeを増やす）必要がある。プロンプト中心のワークロードで劇的な改善が見込める一方で、生成速度への影響は軽微という、実用的なチューニング知見として注目に値する。

マルチモーダル知識編集に潜む「エンティティ同一性混乱」

大規模視覚言語モデル（VLM）の知識編集後に生じる systemic な失敗モード「Entity Identity Confusion（EIC）」を特定した研究が発表された。

EICは、編集されたモデルにおいて、元のエンティティの同一性に関するテキストのみの問い合わせに対して、新しいエンティティの情報が返されるという不可解な振る舞いを示す。研究チームは診断ベンチマーク「EC-Bench」を構築し、画像とエンティティのバインディング（I-E）とエンティティ間の関係知識（E-E）を既存手法が区別できていないことが根本原因だと特定した。

画像は依然として元のエンティティとして認識され、新しいエンティティ名が単なる偽のラベルとして機能している状態だ。画像-エンティティの処理段階に編集を制約することでEICを大幅に削減できることも示しており、忠実なマルチモーダル知識編集に向けた指針を提供している。

Auto-Rubric as Reward — 少量ラベルからVLM評価ルーブリックを自動生成

少人数のラベル付き視覚データから読み可能なルーブリックテキストを自動生成し、視覚言語モデル（VLM）の評価に活用する手法「Auto-Rubric as Reward」が発表された。

同手法はポイント評価とペアワイズ評価の両方に対応するVLMグレーディングをサポートし、実践者が関心のあるルーブリック次元を自由にスケールアップできる。さらに、拡散モデル向けの简洁なペアワイズオンラインRLアルゴリズムを提供し、データ効率、訓練の安定性、スケーラビリティを重視した設計となっている。

テキストから画像生成、画像編集など multimodal generation への適用も検証されており、報酬設計の自動化という観点で生成AIの品質管理に新たなアプローチをもたらしている。

Cisco CPO「2027年末までにAIが自社製品の大部分を構築」

Ciscoのチーフプロダクトオフィサー（CPO）が、2027年末までにAIが同社製品の大部分を構築するようになるとの予測を示した。SDxCentralの報道によると、大手ネットワーク機器ベンダーの技術責任者がAIによる製品開発の急速な進展を如此に自信を持って語ったことは、テクノロジー業界全体のAI活用が加速していることを象徴する発言として注目を集めている。

Ciscoに限らず、ソフトウェア開発におけるAIの役割は急速に拡大しており、コーディングだけでなく設計・テスト・運用の各フェーズへのAI導入が進んでいる。ただし、AIが「構築」する範囲の定義や人間のレビューの位置づけについては、今後の実践の中で整理されていくとみられる。

まとめ

今回のダイジェストでは、LLMの継続学習の根本的な課題に幾何学的観点から切り込んだ研究、ローカルLLMコミュニティで即座に役立つllama.cppのチューニング知見、VLMの知識編集における予期せぬ副作用の分析を取り上げた。いずれも「既存のモデルをどう扱うか」という実践的な視点が共通しており、運用現場の課題に直結する内容となっている。