ハイブリッド線形アテンションで効率と性能を両立させる「Ling-3.0-flash」

inclusionAIが公開した「Ling-3.0-flash」は、総パラメータ124Bのうちトークンごとに5.1Bのみを活性化するスパースMoEモデルだ。最大の特徴は、学習の初期段階から「Kimi Delta Attention（KDA）」と「MLA」を5対1で交互に積むネイティブなハイブリッド線形アテンション構造を採用している点で、長文脈の処理効率と計算コストの両面で飛躍を狙う。1/64のスパースMoEと組み合わせることで、従来の1兆パラメータ級の旗艦モデル（Ring-2.6-1T）と同等以上の性能を、はるかに少ない計算量で達成したとしている。1万件以上のインタラクティブな学習環境を通じてエージェント用途での実用性も強調しており、生産現場への投入を念頭に置いた設計と言えそうだ。

ただし「線形アテンションへの置き換え」は、まだ万能ではない。同日に公開された別の研究では、Qwen3-0.6B-Baseの28層のうち21層をKDA層に変換する実験が報告された。隠れ状態の整列とKLダイバージェンスによる蒸留で言語モデリングの perplexity は教師モデルに近づいたものの、多肢選択問題の正答率は教師の50.6%に対して25〜29%とランダムに近い水準に留まったという。見かけの損失が小さくても、モデルが獲得していたはずの能力が壊れる「見えない損傷」が起き得ることを示しており、Ling-3.0-flashが最初からハイブリッド構造で学習していることの妥当性を裏付ける結果とも読める。

エッジで動く超小型モデル、iPhone上で1.5Bの音声生成

モデルの「小型化と実効性」を巡る動きは、エッジ端末でも急速に現実感を増している。コミュニティでは、約15億パラメータの音声生成モデル「VibeVoice 1.5B」をiPhone上で動かし、メモリ使用量約2.2GB、最大でリアルタイムの1.28倍の速度で生成できるという実証が報告された。推論基盤のaudio.cppを通じて最適化を進めたもので、長時間生成でもメモリ使用量は安定していたという。クラウドを介さず端末単位で音声AIが動く世界が、愛好家の手で着実に広がっている。

スケールの極限を示す例もある。「GPT-X2.5-135M」は、わずか1億3500万パラメータでありながら、Hugging FaceのOpen SLM Leaderboardで3位に入り、Metaの「MobileLLM-R1-140M」を上回ったと報告されている。パラメータ数が1桁小さくても、設計と学習次第で実用的な性能帯に到達できることが可視化された形だ。大規模化と小型化が同時に進む二極の潮流が、また一段鮮明になった一日と言える。

ガートナー、エージェント型AIを「過度な期待のピーク」に位置付け

ガートナー ジャパンは、日本における未来のデジタル・ワークプレースを対象としたハイプ・サイクルを発表し、エージェント型AIを「過度な期待のピーク」に置いた。AIエージェントの組織浸透が進む一方で、現場の独断で運用される「シャドーAI」のリスクが拡大している点も指摘している。期待が頂点に達したという判定は、技術的な実力そのものを否定するものではなく、むしろ「実運用に移すための地固め」がこれから本格化する局面を示唆するものと捉えるのが自然だろう。

実際、運用側のルール整備需要はすでに顕在化している。サーバーワークスはAWS環境での生成AI利用に向けたガイドライン策定を支援するサービスの提供を開始し、最短1ヶ月でルールを整備できるプランも用意した。「使ってみる」段階から「組織として安全に使う」段階への移行を支援する動きが、日本市場でも始まっている。

3D空間の理解と生成に挑むマルチモーダルモデル

空間的な理解を必要とする領域でも、大手モデルの研究が進んでいる。公開された「Qwen-3D」は、3Dの幾何情報を「視覚ストリームの自然な圧縮機構」として活用する汎用ビジョン言語モデルだ。深度とカメラ姿勢を手がかりに、複数視点・複数時刻の観測を世界座標に整列した持続的な表現へ統合することで、画像や短い動画で行き詰まりがちだった長文脈へのスケーリング難を回避する構造という。空間理解を言語モデルへ持ち込む新たなアプローチとして注目される。

Tencentの「Hunyuan3D-Buffalo 1.0」は、3Dの理解・テキストからの3D生成・指示による編集を一つの枠組みで扱う統合モデルだ。幾何的に一貫した編集データが不足してきたことが3D統合モデルの壁だったと指摘したうえで、スケーラブルな学習によってこの制約を緩和しようとしている。どちらも「2D画像中心から空間へ」という方向性で、マルチモーダルモデルの次の主戦場が3Dに移りつつあることを示唆する。

研究ハイライト：LLMの「同調」と、プライバシーフィルターの限界

二つの研究が、モデルの振る舞いの限界を改めて浮き彫りにした。一つは「Artificial Hivemind（人工の群知能）」効果と呼ばれる現象で、LLMが開かれた問いに対しても狭い合意へと収束し、多様性が失われる問題を指摘したものだ。高温サンプリング下でも応答間の類似度が0.80〜0.90に達し、メタ・ペルソナによるアンカリングと逐次的な温度スケーリングを組み合わせた緩和策が提案された。多様な視点が求められる用途では、見過ごせない性質だ。

もう一つは、OpenAIの個人情報マスキング用フィルター「Privacy Filter」に対する初の独立的な評価だ。1.5Bの双方向PII検出器を22言語・5ドメイン・42のベンチマークで検証したところ、英語圏のPII検出では既存手法を上回る一方で、多言語NERではインド系・非ラテン文字の全13言語でXLM-RoBERTaに後れを取った。強力なフィルターも、言語やドメインをまたぐと想定以上に脆くなることを示す結果となっている。