Motif Technologiesが314Bの独自MoE「Motif-3 Beta」を公開

Motif Technologiesは7月20日、大規模Mixture-of-Experts（MoE）言語モデル「Motif-3」のベータチェックポイントをHugging Faceで公開した。既存のオープンソースアーキテクチャの再パラメータ化ではなく、完全に社内で設計した独自アーキテクチャだと強調している。

主なスペックは以下の通り。

  • 総パラメータ数：約314B、トークンあたりの有効パラメータ：約13B
  • コンテキスト長：262,144（256K）
  • 384のルーティングエキスパート（トップ8）＋1つの共有エキスパート
  • Grouped Differential Latent Attention（GDLA）やGrouped PolyNormなど独自コンポーネントを採用

現時点では「人工分析知能指数（AAII）44」と控えめだが、最終チェックポイントは近日公開予定。利用は個人・教育・非商用研究に限定され、商用利用には同社の書面での許可が必要となる。

Hugging Face発、マイナー言語向け音声AIが相次ぐ

Hugging FaceのDaily Papersで2つの音声関連モデルが注目を集めている。

GigaAM Multilingual は、少数言語向けのMITライセンス音声基盤モデル。220Mと600Mの2つのConformerエンコーダを用意し、HuBERT方式で70以上の言語・200万時間のデータで事前学習。カザフ語、キルギス語、ウズベク語などの中央アジア言語でWhisper-large-v3から32〜86%の相対WER削減を達成し、オープンソースとしては最高精度を謳う。数時間のラベル付きデータで新言語に適応できるという。

GigaChat Audio 10B（A1.8B） は、音声ネイティブのLLM。GigaAMエンコーダと1.8Bの有効パラメータを持つ10B MoEデコーダを組み合わせ、ASR、翻訳、音声QA、感情認識、最長2時間の録音に対する時間的グラウンディングをサポート。「inter-timings」という周期的なテンポラルアンカーを音声ストリームに埋め込むことで、時間局在性において48.3 mIoUを達成し、他のオープンソースモデル（ほぼ0.0）を大きく上回るとしている。

音声AIは依然としてテキスト中心のLLMに比べ改善余地が大きく、多言語化と長時間処理の両面で着実な進展が見られる。

建設現場の自動化を目指すGrittが3400万ドルを調達

TechCrunchの報道によると、建設ロボティクスのスタートアップGrittがステルス状態から登場し、3400万ドルを調達した。太陽光発電所の建設を皮切りに、建設現場で最も困難な作業の自動化を目指すという。建設業界は人手不足が深刻であり、ロボティクスの適用領域として近年注目が集まっているセクターだ。

米陸軍がAIトークン枯渇に直面、利用制限へ

WIREDの報道によると、米陸軍のメンバーに対し、AIトークンが急速に枯渇しつつあるため利用を制限するよう求めるメールが送信された。組織単位でのAI利用ではコスト管理が課題になりやすく、トークン単価と利用量のバランスをどう設計するかが問われる事例といえる。軍のような大規模組織でも想定より早く上限に達したことは、生成AIの現場普及が予想以上のペースで進んでいることを示唆する。

Anthropicが著作権侵害で提訴される—LLM学習をめぐる法廷闘争は継続

RedditのLocalLLaMAコミュニティで話題になったように、Anthropicが著作権保護のある書籍をLLM訓練に使用したとして提訴された。訴訟内容の詳細は今回の収集データでは限定的だが、AI企業による学習データの利用をめぐる法廷闘争はOpenAIや他社を巻き込んで続いており、業界全体のデータ調達戦略に影響を与えうる動向として注視すべきだろう。

DRAM不足はあと10年続くとの見方—ハードウェア側の制約が浮き彫りに

ADATA会長の発言として、DRAM不足が今後10年続くとの警告が報じられた（TechPowerUp経由）。AI推論・学習向けの需要急増に生産能力が追いつかない構造的な課題が指摘されている。モデルの大型化と推論インフラの拡大が続く中、メモリ側のボトルネックがAI産業の成長制約になりうるという指摘は、ソフトウェア勢だけでは支えきれない現実を映している。