1ニューロン編集でGemma 4の反復ループを修正 — ただし「思考のデスループ」は残る

Gemma 4の指示チューニングモデルには、長い事実列挙プロンプト（TVシリーズの全エピソード、88星座、初代ポケモン151匹など）で反復ループに陥る再現性のある不具合がある。ループ率は最大95%に達し、プロンプトの言い換えや推論エンジンの変更、サンプリング調整でも解決しない。

arXivに公開された新しい論文で、研究者たちはこの原因がわずか数個のMLPニューロンに局在していることを発見した。層ごとの除去実験とニューロン単位の帰属分析で原因を特定し、E2Bモデルではたった1つのニューロンの符号を反転させるだけで反復ループを除去できたという。より大きなモデルでも少数のルーティングエキスパートを抑制することで対応可能で、汎用ベンチマークスコアは保持される。

ただし、この「手術」は万能ではない。より長い思考予算では、モデルが思い出せない事実を巡って自己訂正を繰り返す「ドゥームループ」に陥る現象が残る。これは知識の精度問題であり、回路を削除するだけでは解決できない — 重みの手術でループは消せるが、足りない知識は補填できない、と著者は指摘する。

LLM-as-a-Judgeの判定が「コイントス」並みに不安定な件

LLMによる自動評価（LLM-as-a-Judge）は、モデル出力のランキング、報酬モデルの訓練、公開リーダーボードの更新に広く使われている。しかし、その実行ごとの信頼性は十分に検証されてこなかった。

GPT-4o-miniとGPT-4.1-miniの2つの判定モデルを使い、29タスク・10カテゴリで各質問50回のペアワイズ試行と50回のポイントワイズ試行を行った検証実験の結果が興味深い。同一の評価を繰り返した場合、ペアワイズの優劣判定が平均13.6%の確率で反転する。28%の質問で反転率が20%を超え、ある質問では56%に達した。さらにGPT-4o-miniでは最初の位置を優遇するバイアス（72%がAを支持、p=0.024）も確認された。

一方で、ポイントワイズのスコア差は0.19〜0.36点（10点満点）と小さく、統計的に有意でない場合が多い。つまり、スコア上はほとんど差がないのに、ペアワイズでは勝者を選んでしまうという矛盾が生じる。

研究では、95%の確率で参照判定と一致するには平均11回、高分散の質問では15回の繰り返し試行が必要だとされている。単発のLLM判定はハイステークスな評価にはノイズが多すぎるというのが結論だ。

VLMは画像を見ずに正答する — 「ミラージュ現象」の二重の正体

視覚言語モデル（VLM）は、画像を与えなくても画像ベースの質問に自信を持って、そしてしばしば正しく答えてしまう。この「ミラージュ現象」がベンチマークスコアを膨らませていることは以前から指摘されていたが、新しい研究はこれが単一の現象ではなく、二つの異なるメカニズムから成ることを示した。

「Mirage Probes」と名付けられた対照的プロービングの枠組みを使い、VLMの内部活性からミラージュ挙動が線形に復元可能であることを確認。分析の結果、二つの体制が判別された：

  • テキストバイアス体制: 言語事前知識だけで答えており、視覚表現にアクセスしていない
  • スパイリアス・イメージ体制: 存在しない視覚的コンテンツを潜在空間に「でっち上げ」、あたかも根拠があるかのように答えている

前者はテキストの分布クリーニングで対処可能だが、後者は視覚表現そのものに根差するため、表現レベルでの介入が必要になる。「忠実な視覚的根拠づけには、表現レベルの介入が必要だ」と著者は主張する。

エージェントのトレースが「スキル流出」の温床に — RedAct framwork

AIエージェントの透明性とデバッグのために公開される実行トレース（ツール選択、検証ルーティン、回復戦略などを含む）が、他のエージェントがスキルをコピーするためのチュートリアルとして機能してしまう問題が指摘された。

CapTraceBench（75の長期タスク、154の精選スキル、7つの専門ドメイン）を使った実験で、生のトレースから44.7%〜67.1%のスキル転送が可能になることが判明。RedActフレームワークは、機微な手続き的詳細を特定して選択的に書き換え、監査に必要な証拠は保持しつつ、スキル転送をベースライン以下に抑え込む。同時に埋め込まれた透かしは93.6%〜100%の検出率を達成する。

LLMの道徳的判断には「方向の盲目」がある

ユーザーからの押し戻しに対するLLMの対応を調べた大規模実験が興味深い結果を出している。9つのモデル、97万2000回のナッジ条件レスポンスを分析した結果、事実問題では有益なナッジにより多く従う（非対称性1.58） のに対し、道徳問題では有益・有害の両方向にほぼ同じ率で従う（非対称性1.04） ことが分かった。

つまり、道徳的な質問においては、正しい方向への修正と誤った方向への誘導を区別できていない。この傾向はモデルファミリーや能力レベルを超えて一貫しており、連鎖思考プロンプトは両方向のコンプライアンスを同時に増幅し、アイデンティティベースのプロンプトは両方を同時に抑制することが判明した。

Sakana AI、初の商用製品「Marlin」をリリース

Sakana AIがAI調査エージェント「Sakana Marlin」の提供を開始した。4月からβ版を提供していたものを商用化する。公開に先んじてメディア向けにハンズオンが実施され、事前に集めたテーマを基にAIが作成したレポートが報道陣に公開された。同社にとって初の商用プロダクトとなる。

Command A PlusのGGUF版がコミュニティから公開

llama.cppの週末アップデートでCommand A PlusとNorth Mini Codeのサポートが追加されたのを受け、コミュニティメンバーがCommand A PlusのGGUF変換・量子化版をHugging Faceに公開した。ローカルLLMコミュニティで話題を呼んでいる。