Thinking Machinesが「同時対話」ネイティブモデルを発表

これまでのAIモデルはすべて同じ仕組みで動いていた。ユーザーが話し、AIが聞く。AIが応答し、ユーザーが聞く。この「往復型」のやり取りが当たり前だった。

Thinking Machinesはこの前提を覆すモデルを発表した。ユーザーの入力を処理しながら同時に応答を生成する——つまり、テキストのやり取りではなく、電話のような「同時双方向」の対話を実現しようとしている。

Latent Spaceの報道によると、この「TML-Interaction-Small 276B-A12B」モデルはリアルタイム音声対話のSOTAを更新し、従来のVAD（Voice Activity Detection）の仕組みを不要にする可能性があるという。KyutaiのMoshiプロジェクトの流れを汲むGradiumのNeil Zeghidour氏の議論と同日に発表されたこともあり、リアルタイム音声AIの進展が加速している印象だ。

同時対話が当たり前になれば、AIとのコミュニケーションは根本的に変わる。相槌、割り込み、沈黙の解釈——人間の会話のニュアンスをAIが扱えるようになる日は近いかもしれない。

1個のニューロンでLLMの安全アライメントを突破

LLMの安全性に関する衝撃的な研究がarXivに公開された。なんと、1個のニューロンを標的にするだけで、複数のモデルファミリー（1.7B〜70Bパラメータ）にわたって安全アライメントを突破できるという。

研究では、安全アライメントが2つの仕組みで動いていることを明らかにした。1つは「拒否ニューロン」で、有害な知識が表現されるのを防ぐゲートの役割を果たす。もう1つは「概念ニューロン」で、有害な知識そのものを符号化している。

この2つのシステムのそれぞれ1個のニューロンを標的にすることで、明示的な有害なリクエストに対する安全機能を回避できるだけでなく、無害なプロンプトから有害な内容を引き出すことも可能になるという。しかも、一切の追加学習やプロンプトエンジニアリングなしで実現する。

この発見が意味するのは、現在の安全アライメントがモデルの重み全体に堅牢に分散しているわけではなく、個々のニューロンによって脆く支えられているということだ。安全性の向上には、より分散的で堅牢なアーキテクチャが必要とされる。

LLMの「巨大活性化」を生み出す単一レイヤーを特定

同じくLLMの内部構造に光を当てた研究で、**Massive Emergence Layer（ME Layer）**と名付けられた特定のレイヤーが、LLM全体の「巨大活性化」の起源であることが判明した。

LLMの隠れ層では特定のトークンで異常に大きな値（巨大活性化）が現れる現象が知られていたが、この研究はRMSNormとFFNパラメータが共同でこの現象を引き起こすことを特定した。一度形成された巨大活性化はレイヤーをまたいでほぼ変化せず、表現の多様性を制約しているという。

この発見を応用して、巨大活性化の硬直性を緩和するシンプルな手法も提案されている。LLMの内部動作を理解し制御する上で重要な一歩と言える。

G-Zero: 外部評価者なしでLLMが自己進化するフレームワーク

自己進化するLLMは、数学やコーディングのような「正解が検証可能」な領域では大きく進歩してきた。しかし、オープンエンドなタスクでは外部のLLM評価者に頼るしかなく、その評価者の能力限界がボトルネックになっていた。

G-Zeroはこの問題を「Hint」という独自の内在的報酬で解決する。モデルが自力で生成した回答と、ヒント付きで生成した回答の予測差分を測定し、それを学習信号として使うのだ。外部の評価者を一切必要としない。

ProposerモデルがGeneratorの弱点を狙って難問を合成し、GeneratorがDPOで改善するという共進化のループが回る。理論的にも最適性の保証が証明されており、LLMの自己進化において外部依存を減らす重要な方向性を示している。

シリコンバレーを席巻する中国人AIエンジニアたち

Rest of Worldが、シリコンバレーの主要AI企業で中国人エンジニアが果たす役割の大きさを特集した。

OpenAI、Anthropic、Google DeepMindなど、米国の最先端AIラボには中国出身の研究者が多数在籍し、中核的な役割を担っている。米中対立の激化にもかかわらず、人材の流れは止まっていない。

この記事は、AI人材のグローバルな流れと、地政学的緊張の中で彼らが直面する課題に光を当てている。技術革新に国境はないが、政策が人材の流れをどう左右するかは注目すべきテーマだ。

GrokがAI競争で脱落気味との指摘

Wall Street Journalが、Elon MuskのxAIが開発するGrokがAI競争で遅れをとっていると報じた。SpaceXがAnthropicのAIを利用する契約を結んだことも、Grokの競争力不足を示唆している。

Musk自身がOpenAIの創設メンバーでありながら、自身のAI企業が競争で後れを取っているという皮肉な状況が浮き彫りになっている。

参考資料: