iLLaDA：マスク拡散言語モデルが8Bスケールで自己回帰に迫る

従来のLLMの大部分は、次トークンを予測する自己回帰（autoregressive）方式と因果アテンション（causal attention）を採用している。これに対し、中国人民大学などのチームが発表した「iLLaDA（Improved Large Language Diffusion Architecture）」は、事前学習からSFTまで一貫して双方向アテンションを用いるマスク拡散モデルを8Bパラメータでゼロから学習した。

学習規模は事前学習12兆トークン、SFTで250億トークンの指示コーパスを12エポック使用。バリデーションでは、GPT-4による評価プロセスも導入しており、マスク拡散アプローチが自己回帰モデルの有力な代替になりうることを示している。

自己回帰以外のアーキテクチャとして、拡散ベースの言語モデルは長く研究されてきたが、スケールさせると性能が追いつかないという課題があった。iLLaDAの結果は、この「スケールの壁」を越えられる可能性を示す重要なマイルストーンと言える。

Wikipediaの少数編集がLLMの価値観を形作る

「AIの学習データに少量の編集を加えるだけで、モデルの出力を変えられるのか？」——この問いに実証的に答えた論文が注目を集めている。

研究の対象となったのは、動物福祉に関するWikipediaの編集を行うボランティアグループ「Pro-Animal Wikipedians（PAW）」。彼らは115ページにわたり125件の編集を行い、参考サイト付きの動物福祉情報を追加してきた。Wikipediaはほぼ全ての主要なLLMの学習データに含まれ、ウェブクロールテキストよりも重み付けが高い。

研究チームは勾配ベースのデータアトリビューション（Bergson法など）を用いて、これらの編集がLLMの出力に与える影響を定量評価。その結果、少数の協調的なボランティアが、AIシステムが特定トピックをどのように語るかを実際に変えうることを示した。

AIのトレーニングデータにおける「情報の透明性」と「操作耐性」は、今後ますます重要な論点になるだろう。今回の対象は動物福祉という良性の例だが、同じ手法が悪意を持って使われた場合のリスクも示唆している。

「検出できても制御できない」——LLM解釈性の幾何学的ギャップ

LLMの内部表現を理解し、特定の振る舞いを検出・制御することは、メカニスティック解釈性（mechanistic interpretability）の中心的な目標だ。しかし、イタリア・ボローニャ大学などのチームが発表した論文は、この目標の根底にある前提に疑問を投げかけている。

これまで多くの研究は、「ある振る舞いを検出する方向（direction）と、それを制御する方向は同じ、あるいは近い」と暗黙に仮定してきた。研究チームはこの仮説を幾何学的にテストした。

結果は示唆的だ。最も良く検出できる方向と、最も効果的に振る舞いを引き起こす方向との間には、無視できない角度のズレが存在する。つまり、モデルが「何を知っているか」を測定できても、それを「どう操作するか」は別の問題だということだ。

この発見は、LLMの安全性研究において「監視」と「介入」を分けて考える必要性を浮き彫りにする。検出プローブが高精度でも、それをそのまま制御に使うと思わぬ副作用が出る可能性がある。

エントロピーの軌跡からジェイルブレイクを検出する

LLMのセキュリティ研究でも、モデルの内部表現に注目したアプローチが進んでいる。

発表された「What Intermediate Layers Know」では、フリーズしたLLMのトークンレベル予測エントロピーの軌跡を層ごとに解析することで、ジェイルブレイク攻撃を検出する手法が提案された。

多くの防御策はプロンプトレベルや出力レベルで機能するが、このアプローチはモデルの中間層における有害な意図のエンコーディングに直接アプローチする点が特徴だ。エントロピーのダイナミクスを観察することで、出力が生成される前にリスクを推定できる可能性を示している。

エージェントツール群が次々登場：隔離実行から遠隔操作まで

AIエージェントの実用化が進む中、開発者向けのツール群も急速に充実している。

OpenAI Sandbox Agentsでは、エージェントの実行を隔離環境に追い出すことで、シェルコマンドのリスク（rm -rfの誤実行など）と、プロセス終了による作業状態の消失という2つの課題に同時に取り組む。

また、Hacker Newsでは以下のようなツールが相次いで発表された：

  • Hezo：シークレットを一切見せずに自律的に動作する、セルフホスト型のAIエージェントチーム
  • Zedra：AIコーディングエージェントをリモート操作するためのツール
  • Swarm-test：マルチエージェントシステムの本番前テストフレームワーク

エージェントに「シェルを握らせる」ことの不安は、実運用を考えるエンジニアにとって共通の懸念だ。隔離・監視・テストの3層でエージェントの安全性を担保するアプローチが定着しつつある。