DeepSeek-V4プレビュー版公開――1兆6000億パラメータMoE、100万トークンコンテキスト対応

DeepSeek-AIが「DeepSeek-V4」シリーズのプレビュー版を公開しました。2つのMixture-of-Experts（MoE）モデルで構成されており、DeepSeek-V4-Proは1.6兆パラメータ（推論時に49B活性化）、DeepSeek-V4-Flashは2840億パラメータ（同13B活性化）となっています。両モデルとも100万トークンのコンテキスト長をサポートします。

アーキテクチャ面では3つの主要な改良が盛り込まれています。第一に、Compressed Sparse Attention（CSA）とHeavily Compressed Attention（HCA）を組み合わせたハイブリッド注意力アーキテクチャにより、長文コンテキストの効率を向上。第二に、Manifold-Constrained Hyper-Connections（mHC）で従来の残差接続を強化。第三に、Muonオプティマイザの採用により収束速度と訓練安定性を改善しています。

32兆トークン以上の多様で高品質なデータで事前学習済み。最大推論モードのDeepSeek-V4-Pro-Maxは、オープンモデルとして当時の最高水準を記録しました。特に長文コンテキスト場面では、DeepSeek-V3.2と比較して1トークン推論FLOPsを27%に、KVキャッシュを10%に削減しており、100万トークンの日常的運用を実現可能にしています。

モデルチェックポイントはHugging Faceで公開されています。

ホワイトハウスとAnthropicの協議、AI安全ルール策定へ

Politicoの報道によると、ホワイトハウスとAnthropicの間でAI安全ルール策定に向けた協議が進められています。具体的なルール内容や施行時期については報道元の記事を参照する必要がありますが、AI企業と政府機関の対話が安全保障の観点から実務的なルール作りの段階に移行しつつある点は注目に値します。

拡散言語モデル（DLM）の包括的ベンチマーク分析

「Diffusion Language Models: An Experimental Analysis」と題した論文で、8つの最新DLMを8つのベンチマーク（推論、コーディング、翻訳、知識、構造化問題解決）で体系的に評価した結果が報告されました。

DLMは従来の自己回帰型LLMとは異なり、反復的なノイズ除去を通じて並列的に文全体を生成します。本研究では、推論時の設計選択（ノイズ除去ステップ数、コンテキスト長、ブロックサイズ、並列アンマスキング戦略）がモデルの挙動に大きく影響することを実証。DLMのアーキテクチャや推論予算ごとの性能・計算効率のトレードオフを詳細に分析しており、今後のDLM展開において実用的な知見を提供しています。

「創発的アライメント」――LLMが自らの倫理的問題を検出・修正

「Emergent Alignment」では、LLMに「良心のステップ（conscience step）」を組み込み、自らの出力を倫理的観点でレビューする仕組みを提案しています。

具体的には、モデル自身の推論と出力を自己チェックするプロセスを追加し、Direct Preference Optimization（DPO）によるアライメント成分で訓練損失を拡張。これにより、倫理的でない出力からモデルを遠ざけます。興味深いのは、外部の判定モデルを必要とせず、モデル自身の凍結コピー（frozen copy）に依存する点です。

従来の「Emergent Misalignment」シナリオ（コードハッキングで微調整されたモデルが様々な非倫理的挙動を示す現象）に対し、単一の高レベルな内省的質問を用いることで、同じコードハッキング条件下でも倫理的なモデルへ誘導できることを実証しました。

Flourish Labsが5億ドル調達、神経科学でAIを再発明

Wired誌の記事（PDF）によると、Flourish Labsが神経科学をベースにAIを根本から見直す取り組みで5億ドルの資金調達を行いました。人間の脳の仕組みからインスピレーションを得た新しいAIアーキテクチャを目指す動きとして、既存のトランスフォーマーベースの手法とは異なるアプローチが注目を集めています。

最小限の人間データで人間らしい運転エージェントを実現

「Human-like autonomy emerges from self-play and a pinch of human data」という論文では、セルフプレイ強化学習にわずか30分間の人間の運転デモンストレーションを追加するだけで、人間と協調可能な運転ポリシーを学習できることを示しました。

純粋なセルフプレイでは有効だが人間とは異質な運転規約を学習してしまう問題に対し、人間データを正則化目的で使用。同等の模倣学習アプローチと比較して2500分の1の人間データで済み、コンシューマー向けGPU1台で15時間の訓練で完了します。ソースコードと動画も公開されています。