8月10日、海外AI界隈では「LLMをどこまで小さく、安く、賢くできるか」をめぐる動きが一気に目白押しした。Metaがローカル実行向けの新モデルをオープンソースで公開したほか、Transformerの計算コストを見直す新興企業を紹介する大型特集、知識蒸留のコストを大幅に下げる手法、科学におけるAIエージェントの役割を問う識者の寄稿と、効率化と応用の両面で厚みのある1日だった。

MetaがローカルAgent向け「Muse Glimmer」をオープンソース公開

Metaは10日、ローカル環境でのエージェント用途に最適化した新モデル「Muse Glimmer」を公開した。30Bパラメータのdenseモデルで、テキストと画像を扱うマルチモーダル仕様。重みはApache 2.0ライセンスでHugging Faceに配信されている。

最大の特徴は、消費者向けハードウェアで常時稼働できる設計にある。フル精度では55GB超のメモリを要するが、重みを約4-bitに量子化することでLM本体を20GB未満に圧縮する。24GBや32GBのGPU環境であれば、KVキャッシュ、画像認識エンコーダ、後述する推測デコードのドラフターを同時に動かす余裕が残り、エージェント系タスクでは圧縮による性能劣化は最小限だとしている。

推論速度も工夫されている。軽量なドラッファーモデルがトークンをまとめて提案し、主モデルが並列で検証する「推測デコード（speculative decoding）」を採用し、1トークンずつ生成する従来方式より高速で出力品質は変わらないという。エージェント用途では、関数呼び出しの精度、長期間の多段推論、ツール呼び出し失敗時の自己診断と再試行を訓練目標に組み込んだ。llama.cppやMLX、ExecuTorch向けの最適化や、Ollama・LM Studioでの提供も予定されている。

Bloombergの報道によれば、Muse Glimmerは既存の「Muse Spark 1.2」を蒸留した効率重視の派生モデルで、グラフィックカード1枚で動くことを念頭に置いている。主にスケジュール管理やファイル整理といったエージェント的な作業を担う想定とのことで、モデルの大型化が行き詰まりを見せつつある中で「小型・常時稼働」という逆方向の一手を打った形だ。

Transformerの「次」を狙う5つのアプローチ

MIT Technology Reviewは、LLMの根幹であるTransformerがボトルネックになりつつあると指摘し、その先を行く新興企業を5つ紹介する特集を掲載した。「LLM+」と呼ばれる次世代モデルを展望する内容で、方向は大きく「計算を減らす」「構造を変える」「生成方式を変える」に分かれる。

1つ目は注意機構そのものの見直しだ。Subquadraticは、すべての単語ペアを計算する密注意（dense attention）ではなく、その都度重要な単語だけを計算するsparse attentionを提案し、検索やコーディングで主流モデルに匹敵すると主張する。Manifest AIは注意機構を別の仕組み「power retention」で置き換え、文脈のローリング要約を保持して不要な情報を捨てる方式で、既存のTransformerを最小限の再学習で変換できるとしている。

2つ目はモデルの小型化と柔軟性だ。Liquid AIはミミズの脳に着想を得た「liquid neural network」をTransformerと組み合わせ、電力消費が少なく学習し続けるモデルを構築している。メルセデス向けに車載チップで動くモデルを作っており、最新モデルは50ドルのRaspberry Piでも動くという。同社のLFMは、4倍大きいライバルモデルに匹敵する性能を実現しているとする。

3つ目は生成方式の転換だ。Inceptionは画像生成で知られるdiffusionをテキストに適用し、1語ずつではなく文章を一括で生成する。最新の「Mercury 2」はGPT-4級の性能を10倍の速度で出すとし、Googleも同手法のプロトタイプを試している。最後にPathwayは、言語による表現そのものから脱却を目指し、注意機構を状態空間（state space）に置き換えたモデル「Dragon Hatchling」を公開。25万問の超難問数独で97%超を解き、主要LLMが1問も解けない中で突出した成績を残した。

知識蒸留を劇的に低コスト化

大きなモデルの知識を小さなモデルへ圧縮する「知識蒸留」は、OSSのLLMを実運用サイズに縮む鍵となる技術だが、従来手法は高コストだ。教師モデルと生徒モデルを同時にメモリに載せ、毎ステップで教師の全語彙の出力を再計算する必要があるためだ。

Multiverse Computingのチームは、これを2つの工夫で安くする手法を発表した。1つ目は、教師の上位100個のロジットをあらかじめキャッシュする「オフライン蒸留」で、教師を生徒と同居させる必要をなくす。2つ目は、系列をスライスごとに処理する「fused chunked KL loss」で、全語彙×系列長の巨大な行列を作らずに済むため、メモリ使用量を文脈長に対して線形に抑えられる。

報告によれば、ピークメモリをほぼ半減させ、単一GPUで扱える文脈長を4倍に伸ばし、大規模環境では最大5倍の高速化を達成。品質は標準的なオンライン蒸留と同等を維持したという。蒸留の規模拡大を阻んでいたメモリと計算の壁を、両側から削るアプローチだ。

「AI for scienceにはデータより推論」

Eric Schmidt氏（元Google CEO）とSuhas Mahesh氏がMIT Technology Reviewに寄稿し、科学におけるAIの次の飛躍は、AlphaFold型の「データ中心」アプローチではなく、AIエージェント型の「推論中心」アプローチで訪れると論じた。

両氏は、AlphaFoldが成功したのは53年と約210億ドルをかけて整備されたタンパク質構造のデータセットがあったからだと指摘する。多くの分野では、細胞株のドリフトや試薬の不純物、実験室の湿度の変動などにより、AIの学習に足る一貫性のあるデータを生成すること自体が困難だという。

代わりの道として注目するのがエージェントだ。5月に発表されたGoogleの「AI Co-Scientist」は、複数のサブエージェントが仮説を立て、査読者のように批判し、勝ち残った仮説を洗練させる。抗生物質耐性が細菌間で広がる経路について「ウイルスが遺伝子を運んでいる」との結論を導き出し、インペリアル・カレッジ・ロンドンが10年かけて湿実験で得ていた、まだ査読中の結論と一致した。

エージェントはすべての操作を自動で記録するため、科学の「再現性の危機」に対する構造的な解決にもなりうる。最大の影響は速度で、テストにかかる時間が議論より短くなれば人は議論をやめてテストを回すようになり、研究のペースそのものが変わる――と、エージェントが科学全体を覆う「稀有な級の突破」になる可能性を示した。