フルアテンションを百ステップでスパース化──RTPurboがLLM推論の常識を変える

大規模言語モデル（LLM）の長文脈推論は、フルアテンションの二次コストがボトルネックとなってきた。既存の効率化手法は、スパース学習かヒューリスティックなトークン削除に頼るため、効率性・学習コスト・精度のトレードオフを余儀なくされていた。

今回発表された「RTPurbo」は、フルアテンションLLMがすでに本質的にスパースであるという発見に基づく新しい手法だ。研究チームは三つの重要な観察を報告している。

一つ目は、長文脈の処理を本当に必要とするアテンションヘッドは一部のみであること。二つ目は、長距離検索が低次元部分空間で制御されているため、16次元のインデクサで関連トークンを効率的に取得できること。三つ目は、有用なトークンの予算がクエリに強く依存するため、固定top-kではなく動的top-p選択が適していること。

これらの知見をもとに、RTPurboは検索ヘッドのみフルKVキャッシュを保持し、その他のヘッドには軽量なトークンインデクサを導入する。驚くべきことに、わずか100ステップの学習でフルアテンションモデルを高精度なスパースモデルに変換できるという。長文脈推論の実コスト削減において、実用的なブレイクスルーと言えそうだ。

一文からショートドラマを生成──マルチエージェント映像制作システム

Hugging Face Daily Papersに掲載された「One Sentence, One Drama」は、たった一文の入力から完全に制作されたショートドラマを生成するマルチエージェントフレームワークだ。

階層型マルチエージェントアーキテクチャを採用し、三つの主要コンポーネントで構成されている。まず、マルチエージェントディベートによるストーリー生成で、ショートドラマ特有のペーシングと物語の一貫性を担保する。次に、3Dシーン生成で映像的な表現を実現。そして、パーソナライゼーション機能でユーザーの嗜好に合わせた作品を提供する。

AIによる映像制作はツールレベルの進化が著しいが、物語の一貫性と映像品質を同時に満たす試みはまだ少ない。この研究は、生成AIがクリエイティブ産業の下流工程だけでなく上流の企画段階にも入り込みつつあることを示している。

AIインフラにユニコーン続々──Exa、Modal、TurboPuffer

AIインフラストラクチャ分野で、新たなユニコーン企業が次々と誕生している。Latent Spaceが報じたところによると、検索APIのExa、サーバーレスGPUプラットフォームのModal、ベクトルデータベースのTurboPufferが相次いで10億ドル以上の評価額に達した。

ExaはAIアプリケーション向けの高精度な検索APIを提供し、LLMの知識ベースとして利用されている。Modalはクラウド上でのGPU計算を簡素化し、AIモデルの開発・デプロイを加速する。TurboPufferはAIネイティブなベクトル検索に特化したデータベースだ。

LLMアプリケーションの本格普及に伴い、モデル自体ではなく周辺インフラの需要が急増している。モデル層の競争が激化する一方で、インフラ層には安定したビジネスモデルを確立する企業が出てきている点は注目に値する。

AIは生産性向上の前にインフレ圧力になる可能性

Axiosの分析が、AIの経済的影響について注意すべき視点を提示している。AIが生産性向上をもたらす前に、まずインフレ圧力として作用する可能性があるという指摘だ。

現段階では、企業のAI投資が需要を押し上げている一方で、生産性の実質的な向上は限定的である。データセンター建設、GPU需要、電力消費の増大がコスト上昇を招き、それが消費者物価に波及する構造だ。AIの生産性効果が本格化するのは数年先と予測されており、そのギャップがインフレ圧力を生み出すという分析である。

AI投資の経済的リターンを巡る議論は、技術的興味だけでなくマクロ経済の文脈でも重要性を増している。

Samsung半導体部門に平均3400万円ボーナス──AIブームの恩恵

Samsungが半導体部門の従業員に最大266億ドル（約4兆円）のボーナス支給を決定した。従業員一人あたりの平均支給額は約34万ドル（約3400万円）に達する見込み。

この異例のボーナスは、AI向け半導体需要の急拡大に支えられている。Samsungの半導体部門はAIチップ向けHBM（広帯域メモリ）の生産で好調を維持しており、労働組合との最終合意により支給が確定した。

AIブームの恩恵は、モデル開発企業だけでなくサプライチェーン全体に及んでいる。NVIDIAのGPU需要を筆頭に、メモリ、パッケージング、冷却装置など関連産業全体が急成長を続けており、人材獲得競争も激化している。Samsungの大規模ボーナスは、そうした競争環境での人材維持を狙った側面もあるとみられる。