オープンウェイトの大型新モデル、Transformerの計算能力の設計、ローカル推論の実速度、エージェントの記憶効率化と、研究から実運用まで幅広い話題が集まった1日でした。以下にポイントを整理します。

細粒度スパース性と潜在アテンションを組み合わせた314Bの新モデル「Motif 3」

Hugging Faceのデイリーペーパーに「Motif 3」の技術レポートが掲載されました。decoder-onlyのMixture-of-Experts（MoE）言語モデルで、総パラメータ数は314B、トークンあたりの活性化パラメータは13.2Bと、比較的少ない計算量で大きな容量を扱う設計です。

各MoEレイヤーは384個のルーティングエキスパートを持ち、トークンごとに8個を選択します。この「細粒度スパース性（fine-grained sparsity）」により、専門家の容量を稼ぎつつ1トークンあたりの計算を抑えるアプローチをとっています。最大の特徴は「Grouped Differential Latent Attention（GDLA）」と呼ぶアテンション機構で、グループ化差分アテンションと、マルチヘッド潜在アテンションのKV圧縮表現を統合したものです。学習データは約12.5兆トークンで、最大コンテキスト長は256K。推論コストを抑えるためMXFP8での選択的計算・通信も採用しています。

ポストトレーニングでは、複数の専門教師モデル（6つのRL訓練スペシャリストとソフトウェアエンジニアリングのSFT教師）を使い、Multi-teacher On-Policy Distillationで能力を1つのモデルに統合しています。評価では長期間のエージェントタスク、数学推論、科学知識、ハルシネーションへの耐性で競争力を示したとしています。

訓練ゼロでTransformerの重みを手動設計し、掛け算を100%精度で実行

「Transformerは計算が苦手」という通念に対し、訓練を行わず重みを直接設計すれば正確に計算できることを実証した実験が話題を呼んでいます。

投稿者は筆算（grade-school）の掛け算アルゴリズムを計算グラフとして実装し、自作のコンパイラ「Torchwright」でPhi-3のHugging Faceチェックポイントに変換しました。3桁の計算機は対応する300万通りの式すべてを正解させ、最大12桁×12桁まで対応するチェックポイントも公開しています。参考比較のため推論機能を無効化した6つのフロンティアモデルをテストしたところ、桁が長くなるほど精度が急落し、7桁では5モデルが500問中0問だったとのことです。

興味深いのは、同じ掛け算という関数を「筆算方式」「ハードウェア方式」「スクラッチパッド方式」「力技の暗記方式」の4通りで実装し、レイヤー数・幅・生成トークン数・パラメータの使い方が大きく異なることを比較した点です。実用上の意味は薄くとも、LLMの計算能力がアーキテクチャと重みの設計に依存していることを示す示唆に富んでいます。

ローカルLLM「Muse-Glimmer」が実運用で約280 t/sを記録（継続）

前回（8月10日）はMetaがローカルエージェント向けに「Muse Glimmer」をオープンソース公開した話題をお伝えしましたが、今回は実運用での速度計測がコミュニティから報告されました。

Next.jsとNest.jsの実機能実装（テーマ切替システムの追加）中に計測したところ、Muse-Glimmer-30B（UD-Q6_K_XL量子化）とDFlash（推測デコーディング）をRTX 5090単体で動かし、ピークで100〜287 t/s、平均約173 t/sを記録。推測デコーディングのドラフト受理率は平均82.3%、14.3kトークンのプロンプト処理は約5.35秒（2654 t/s）でした。Qwen 3.6 27Bと比べ、中国語混入バグや過思考ループがなく応答が簡潔で、メモリの余裕で大きなコンテキストを確保できた点も好評です。

一方で推論の「質」には疑問の声もあります。別スレッドで、Muse-Glimmerの思考トレース（reasoning trace）がQwenやGemma系と著しく異なり、整理される前の断片的で反復的な記述が並ぶ、と指摘されています。速さは立証されたものの、推論プロセスが結果の改善に本当に貢献しているかは今後の検証が待たれます。

自己進化エージェントの「記憶」を効率化する「RoMeRL」

LLMエージェントが経験を蓄積して自己改善する仕組みでは、記憶の扱いが難点になります。「RoMeRL（Reduced-Order Memory Reinforcement Learning）」は、軌跡（trajectory）ごとに膨らむ效用空間を、タスクごとに固定次元の少数の状態で表現するアプローチです。

成果の正負と記憶の動態で因子分解した状態を使い、有限個の意味的座標を通じて新しい経験を取り込みつつ、フィードバックが限られた座標に集中するようにします。理論分析に加え、ALFWorldとLifelongAgentBenchで評価し、タスク性能の向上に加えて誤り座標の指標（Cold-Q比）を80.0%削減、フィードバック密度を約6倍、維持する記憶サイズを84.4%削減、LLM呼び出しを21.1%削減したと報告しています。エージェント実運用での記憶コストと誤伝播の抑制を狙う研究として注目されます。

Rustで書かれた高速なRandom Forest「Fru」

ディープラーニング全盛のなか、古典的機械学習のRandom ForestをRustで高速実装した「Fru」がSoftware X誌に掲載されました。Python（Arrow PyCapsule経由）とRの両方にバインディングを持ち、pandas・polars・pyarrowなどとシームレスに連携します。

性能面では、Pythonではscikit-learn実装比で数倍、場面によっては数百倍高速、Rではranger比で数割から数倍高速とのことです。permutation importanceの新しい実装も含まれており、これ自体が性能向上に寄与するとしています。派手さはありませんが、実務でRandom Forestを使う現場には嬉しい最適化です。

AIトレードの不安の中、アジア銀行株が数十年ぶりの急騰

市場面では、AI関連投資の揺れを背景に資金がアジアの銀行株に流れているとの観測が出ています。配当利回りの良さ、安定した業績、地域経済への露出といった防衛的な銘柄が選ばれており、インフレの粘りと地政学リスクへの耐性も評価されているとのこと。AIトレードの過熱感に対する投資家心理の変化を映す動きとして、AI需要の持続性を測る一つのシグナルになりそうです。