DeepSeek-V4が100万トークンコンテキスト対応で登場——Hybrid Attentionで推論効率を大幅改善

DeepSeekがV4シリーズを公開した。2つのMixture-of-Experts（MoE）モデル——DeepSeek-V4-Pro（1.6Tパラメータ、49B活性化）とDeepSeek-V4-Flash（284Bパラメータ、13B活性化）——が含まれ、いずれも100万トークンのコンテキスト長に対応する。

最大の技術的ハイライトはHybrid Attention Architectureだ。Compressed Sparse Attention（CSA）とHeavily Compressed Attention（HCA）を組み合わせることで、100万トークン設定においてDeepSeek-V3.2と比較して単一トークン推論FLOPsを27%に、KVキャッシュを10%に削減したという。

さらに、従来の残差接続を強化するManifold-Constrained Hyper-Connections（mHC）と、訓練安定性を高めるMuon Optimizerを導入。32Tトークン以上での事前学習の後、ドメイン固有の専門家を独立して育成し、on-policy distillationで統合する2段階のポストトレーニングパイプラインを採用している。

ベンチマークでは、DeepSeek-V4-Pro-Maxがオープンソースモデルとして最高水準の性能を示し、コーディングベンチマークでトップクラス、推論・エージェントタスクでもクローズドソースの最先端モデルとの差を大きく縮めている。Flash版は思考予算を増やすことでPro版に匹敵する推論性能を発揮する場面もあるという。

Hugging Faceでは既にPro版で4.7k、Flash版で1.4kの「いいね」を獲得しており、コミュニティの注目度の高さがうかがえる。

NVIDIAと英国がソブリンAI基盤を拡大——Isambard-AIを中心にインフラ集中投資

NVIDIAはLondon Tech Weekで、英国のソブリンAI構想が具体的な成果を出し始めていると発表した。昨年のJensen Huangとキア・スターマー首相による「英国はAIメーカーになる」という宣言から1年が経ち、AIクラウドプロバイダーの英国展開数が倍増した。

Nebiusは3つの新しいNVIDIA AIインフラ展開を発表し、2027年に65メガワットに到達する計画。BTとNscaleは英国全土のBT施設3箇所にソブリンAIデータセンターを建設する。また、5,400基のNVIDIA GH200 Grace Hopper Superchipで構成されるIsambard-AI——英国最大のコンピューター——がゼロカーボン電力で稼働しており、国家のAI研究を支えている。

ソブリンAIへの投資は単なるインフラ整備にとどまらず、医療・創薬、コーディング、エージェント型AIなど幅広い領域での応用が進んでいる点が注目される。

SIA: ハーネス更新と重み更新の両立で自己改善AIが新局面へ

Hugging Faceで発表された**SIA（Self Improving AI）**は、エージェントのハーネス/スキャフォールドとモデルの重みを同時に更新する自己改善ループを提案している。従来の自己改善アプローチは「スキャフォールドだけ変える」か「重みだけ変える」かのいずれかが多かったが、SIAは両方を回す。

興味深いのは、2つのレバーが全く異なる効果をもたらすことだ。ハーネス更新は主にパース処理、リトライ、ツール利用、検索手順など「モデル周辺のソフトウェア工学」を改善する一方、重み更新はスキャフォールドでは発見できなかったタスク固有の直感を追加する傾向があるという。

実験では、法律分類、CUDAカーネル最適化、scRNAノイズ除去の3タスクで、ハーネスのみのアプローチを上回る性能を示した。自己改善AIの有力な研究方向性として注目される。

因果グラフでLLMの推論を透明化する新しいアプローチ

同じくHugging Faceで注目を集めた研究に、反事実的チェーンと因果グラフを使ったLLM説明性の手法がある。LLMを使って外部世界の因果グラフを抽出するのではなく、逆に因果グラフを使ってLLMの推論過程自体をモデル化するという発想の転換だ。

具体的には、人間が解釈可能な概念を発見して入力を概念状態にマッピングし、MCMC風の拡張で反事実的チェーンを生成、σ-CGで因果グラフを構築する。3つのLLMで疾病診断、感情分析、LLM-as-a-judgeの3タスクを評価した結果、学習されたグラフは高い予測忠実度と構造的安定性を示したという。

LLMのブラックボックス性に対する説明可能性の取り組みは実用上の重要性が高まっており、今回のアプローチは実用的な診断ツールになりうる。

MMAE: 音声編集の包括的ベンチマークが現在のモデルの限界を浮き彫りに

**MMAE（Massive Multitask Audio Editing）**は、指示ベースの音声編集初の包括的評価ベンチマークだ。音、音声、音楽およびそれらの混合を含む7つの音声モダリティ、6段階のタスク複雑性、8種類の操作タイプを網羅する。

ヒューマン・エージェント協働で厳選された2,000の高品質サンプルと、ルーブリックベースの評価フレームワーク（17,741の検証可能な基準）を備える。最先端モデルの評価を行った結果、Exact Match Rate（EMR）は一貫して5%未満であり、複雑な混合モダリティタスクでは0%に落ち込むという衝撃的な結果が出た。現在の音声編集モデルが依然として信頼性の高い編集から程遠いことが浮き彫りになった。

FT: ソフトウェア買収がパンデミック以来の最低水準に——AIバブル調整の影響

Financial Timesの報道によると、ソフトウェア企業の買収取引がパンデミック以来の最低水準に落ち込んでいる。いわゆる「AIルート（AIによる市場混乱）」が背景にあり、投資家がソフトウェアバリュエーションを見直している影響が大きいとみられる。

AIブームがもたらした過熱感が調整局面に入りつつある兆候として注目される。短期的な市場心理の悪化なのか、それともAI投資に対する構造的な再評価の始まりなのか、今後の動向が焦点となる。

AIエージェントに法人格を与えるべきではないというFT論説

同じくFTで、AIエージェントに法的な人格を付与することへの反対論が掲載された。AIが自律的に行動する場面が増える中で、法的責任の所在を明確にするための議論が活発化している。

法人格の付与は一見すると取引の効率化につながるが、最終的な責任を人間からAIへと曖昧にしてしまうリスクがある。AIの自律性と法的説明責任のバランスをどう設計するかは、規制面での重要な論点になりそうだ。

Qiita: SurrealDBをAI Agentsの「組織の記憶」として運用する実践

Qiitaで、SurrealDBをAIエージェント群の記憶・集合知基盤として使う運用事例が紹介された。LLMとの協働で失われがちな「以前の判断」を、SurrealDBの構造化データと全文検索に残すアプローチで、既に7,000件以上のレコードを蓄積しているという。

月次での棚卸しプロセスも組み込んでおり、AIエージェントの長期記憶をどう設計・管理するかという実践的な知見として参考になる。

Qiita: AI開発が陥りやすい「とりあえずPoC病」

同じくQiitaで、AI開発における「とりあえずPoC病」という概念が紹介された。PoC（概念実証）自体は重要だが、PoCを量産して本番導入に移行できない状態に陥る問題を指す。AIの検証スピードが高速であるほど、この罠にかかりやすいという指摘は実務者にとって耳が痛い内容だ。