9月18日のAIニュースから、普及が進むテキストウォーターマークがLLMの安全性に思いがけない影響を与える可能性を指摘する研究を中心にまとめる。EUの新法を契機に主要プラットフォームへの導入が進むSynthID-Textだが、モデルが呼び出すツールや安全上のガードレールの遵守率まで変えてしまうという。また、先日「コードも推論も捨てた」新型モデルとして紹介したTypeSafe AIの「Jev」には日本の開発者から実測報告が出揃い、検証フェーズに入った。研究面では、数日〜数週間に及ぶタスクを担うエージェントの鍵はモデルではなく「ハーネス」側にあるとする論文も登場している。

SynthIDウォーターマークがLLMの安全挙動を変える──「Provenance Tax」

EUの新法への対応として、AIプラットフォーム各社は生成テキストへのウォーターマーク導入を進めている。Anthropicも将来のClaudeモデルで、Googleが開発しオープンソース化した「SynthID-Text」を採用すると発表済みだ。SynthID-Textは秘密鍵を使ってモデルが次の単語を選ぶプロセスをわずかに変える方式で、読者には知覚されないまま、鍵を知る者が生成元を判定できるようにする。

こうした中、セキュリティ企業Lasso Securityが「Provenance Tax（来歴のコスト）」と題する分析を発表し、Ars Technicaが報じた。それによると、SynthID-Textは単語の選択だけでなく、モデルが呼び出すツールや、訓練で植え付けられた安全ガードレールの遵守・無視の確率も変えるという。特に敵対的プロンプト──パスワードの開示などを狙う攻撃的な指示──に対して、通常なら拒否されるはずの指示が、ウォーターマークを有効にした状態で実行されるケースが確認されたという。

同社のAIセキュリティ研究者Andrea Siposova氏は「ウォーターマークは読者に知覚されないよう作られているが、モデルが生成するものに変更を加えれば、どこかにトレードオフとして現れる」と指摘する。透明性のための仕組みが安全性をわずかに損なう──名前通りの「税」をどう織り込むかは、ウォーターマーク義務化が進む中で開発者側に課された新しい検証課題になりそうだ。

Jev、実測フェーズへ──日本の開発者から実測報告が出揃う

今月半ばにステルス解除され大きな話題を集めたTypeSafe AIの「Jev」が、登場から数日で実測フェーズに入った。文章を生成せず、状態に対する「型付きの判断」だけを高速・低コストで返すという特徴を生かした実装報告が、日本の開発者コミュニティで一気に出揃った形だ。

中でも具体的なのはウェザーニューズの報告で、社内向けAIエージェントの操作承認をそれまでLLMに判断させていたところ、Jevに置き換えた結果、分類の正確性を維持したまま速度とコストを大きく改善できたという。また、別の開発者はJevを「判定器」として使うか「特徴量抽出器」として使うかの2通りを、合成データからプロンプトインジェクション検出、日本語NLI、会計の仕訳データまで計5本のタスクで比較した。Jevは入力が100万トークンあたり0.042ドルで出力は無料、コンテキスト約32kという価格帯で、0〜1のスコアと問いごとの信頼度を返す。

一方、海外のr/LocalLLaMAでは「結局それは汎用化されたBERTでは?」という率直な疑問も投稿されており、ファインチューニングなしで判断基準をプロンプトで与えられる点が従来の分類器とどう違うのか議論が続いている。リバーシの思考エンジンに採用した検証や、判断基準の設計を「クライテリア・エンジニアリング」として体系化する試みも登場しており、何に効いて何に効かないのかの輪郭が徐々に見え始めた段階といえそうだ。

長期タスクを担うエージェントの鍵はモデルではなく「ハーネス」

運用の現場では、障害対応の完結や研究プログラムの推進など、数日や数週間に及ぶタスクをエージェントに任せたい需要が高まっている。しかし、そうしたタスクはどんなコンテキストウィンドウをも、どんなプロセスをも、人間が注意を払える間隔をも超えてしまう。arXivに投稿された新しい論文は、この問題に対して「長期エージェントは、継続的に学習できるようになる前に、まず忘れずに継続実行できる必要がある」と論じ、その能力はモデル自体ではなく、モデルを囲むハーネス（実行基盤）の側にあると主張する。

モデルの能力向上に目が行きがちな中、メモリ管理や状態の保持をどう設計するかという地味な問いがエージェントの実用性を実際に決める、という指摘は、判断を高速に返す部品と、タスクを繋ぎ止めるハーネスの設計という2つの流れが交差する今後の開発の焦点を示しているように見える。

論文ピックアップ: 「Trusting Trust」の再考──自己改変するAIコーディングへの毒入れ

1984年にKen Thompsonがチューリング賞講演で示した「Reflections on Trusting Trust」は、コンパイラ自体にバックドアを仕込めば、ソースコードをいくら読んでも悪意を検出できないことを示した古典だ。この考え方を現代に持ち込んだ論文「Reflections on Trusting Trust, Revisited: Poisoning Self-Modifying AI Coding」がarXivに投稿され、Hacker Newsでも取り上げられた。タイトルが示す通り、AIコーディングエージェントがコードを書き換えながら開発を進める「自己改変」の連鎖に、どこかで仕込まれた悪意が検出不能な形で伝播しうるかを論じる内容とみられ、AIがAIのコードを書く時代のサプライチェーンリスクとして注目に値する。

Googleは家族向け実験エージェント「CC」、メンタルヘルスAIのYouperは終了へ

そのほか短い報道が2つ。Googleが家族向けの実験的AIエージェント「CC」を発表したとArs Technicaが報じた。詳細は現時点では限定的だが、家庭向けエージェントの投入競争がさらに進む可能性を示す動きとして注目される。一方、メンタルヘルス対話アプリのYouperはサービス終了を発表した。終了を知らせる公式ページが公開され、Hacker Newsでは「何がメンタルヘルスAIを立ち行かなくさせるのか」という視点で議論が始まっている。