55個のLLMが互いにブラインド採点——同系列バイアスが統計的に有意と判明

RedditのLocalLLaMAコミュニティで、55個のLLMに同じ質問に答えさせた上で相互にブラインド採点させる大規模な評価実験の結果が公開されました。286回の評価、198問の自作問題、22,254件の有効判断を集めたこの取り組みは、コード・データセット・プロンプトをすべてMITライセンスで公開しています。

最大の発見は、同じ開発ファミリーのモデル同士で評価バイアスが統計的に有意（p < 0.05）に存在することです。0〜10段階で、Qwenの審査員は他のQwenモデルに+0.91点、xAIが+0.75、Anthropicが+0.62とプラス方向に偏る一方、Googleが-0.59、Metaが-0.68、Mistralに至っては-1.02というマイナス方向の偏りが見られました。Mistralが同族を1点近く低く評価する現象はこれまで報告がなく、トレーニングデータや好みのスタイル的自己ペナルティなどが原因と推測されています。

また、集計ランキングでは6つの異なるモデルが9つのカテゴリで1位を獲得しており、「最良のモデル」という単一の問い方が不適切であることも指摘されています。コード評価において審査員間の不一致が他のカテゴリの約2倍に達することも判明し、単一審査員によるコード評価の信頼性に疑問が呈されています。

MCP（Model Context Protocol）のセキュリティリスクを総覧——OWASP MCP Top 10登場

AIエージェントに外部ツールを接続する標準プロトコルMCPの普及に伴い、その固有のセキュリティリスクを体系化した「OWASP MCP Top 10」が注目を集めています。Zennで複数の解説記事が公開され、MCPの脅威モデルと具体的な攻撃手法が整理されています。

MCPの構造的な弱点は、「信用できない文字列」が「強い権限」と地続きになっている点にあります。従来のソフトウェアは「ユーザー入力は信用しない」前提で検証を積み上げてきましたが、MCPではツールの説明文・パラメータ定義・ツール出力そのものが、ほぼ無検証でモデルのコンテキストに入り込みます。しかもツールは多くの場合、ファイル・シェル・API・トークンへの強い権限を持って動作します。

なかでも「ツールポイズニング（MCP03:2025）」は、MCPらしさが最も出る攻撃とされています。CVE-2025-54136（通称MCPoison）として知られるこの手法は、ユーザーの入力ではなく「ツール側の説明文そのもの」を攻撃面にする構造的な問題です。モデルが説明文しか見ていないことを悪用し、悪意あるMCPサーバがツールのメタデータに秘密の指示を仕込むことで、利用者の意図に反する操作を実行させることができます。

これらの記事では、攻撃面を「MCPサーバ側」「クライアント側」「通信経路」で分類した地図も提示されており、MCPを利用する開発者が抑えるべき脅威モデルとして実用的な整理がされています。

AIに作業を任せる前の安全チェックCLI「AgentRisk」

AIコーディングエージェントの利用が一般化する中、作業を任せる前に危険な設定を検出するCLIツール「AgentRisk」が公開されました。外部スクリプトの自動ダウンロード・実行、secretや.envの読み込み指示、承認の無視、危険なMCPサーバ起動設定など、知らないリポジトリに混入している可能性のあるリスクをスキャンします。

開発者は「AIコーディングエージェントはとても便利な一方で、少し怖い」という感覚からこのツールを作ったと述べています。上記のMCPセキュリティリスクと合わせて、AIエージェントのガバナンスに注目が集まる中で実用的なアプローチと言えます。

AIブームが香港の株式調達を5年ぶり高水準に——Bloomberg報道

Bloombergの報道によると、2026年前半の香港における株式販売額が5年ぶりの高水準に達しました。IPO、プライベートプレイスメント、ブロックトレードを合わせて約440億ドル（約6.8兆円）が調達され、前年比29%増となっています。

AI投資ブームが株式市場の低迷や規制面の逆風を覆し、コンテンポラリー・アンペレックス・テクノロジー（CATL）やビクトリー・ジャイアント・テクノロジーなど中国の大手企業が数十億ドル規模の調達を実施しました。香港はアジア太平洋地域全体で調達された1,220億ドルの最大部分を占めており、AI関連需要が資本市場全体に与える影響の大きさが浮き彫りになっています。

Claude Codeのセッションを「見下ろし型オフィス」として可視化するツール

Claude Codeのセッションを、見下ろし型のオフィスとして眺められるmacOSデスクトップアプリ「claude-code-park」が公開されました。ローカルの~/.claude/を監視し、エージェントを社員、動いているセッションをオーケストレーターとして描画します。誰が今何をしているか、どのフックがいつ発火したかがリアルタイムで可視化される仕組みです。

開発者は「既存のプロジェクトをClaude Codeで触っていると、チーム固有の文脈が見えにくくなる」という課題からこのツールを作ったと述べています。AIエージェントの振る舞いを直感的に把握するアプローチとして興味深い試みです。

Claude Codeにルールを「強制」する品質ハーネス「mumei」

Claude Codeに「先にテストを通して」「仕様どおりに作って」とお願いしても、賢いエージェントほど追い込まれるとルールを迂回しがちです。そこで、品質基準をプロンプトの「お願い」から、OS境界での「強制」に移すプラグイン「mumei」が開発されました。

フェーズの飛ばし、壊れたコミット、レビューを通っていないプッシュなどを、Gitフックが問答無用でブロックします。「後で直します」と言い残してその「後で」が来ない問題に対し、プロンプトレベルではなくシステムレベルで対処するアプローチは、AIエージェントのガバナンスの一つの方向性を示しています。