Terminal Bench 4.0が公開──GLM-5.3がFable 5と同水準、ベンチマーク飽和との戦い

ターミナル操作タスクでコーディングエージェントの実力を測るベンチマーク「Terminal Bench」のバージョン4.0が公開され、r/LocalLLaMAで早速結果が話題になっています。注目は、GLM-5.3の成績がFable 5と誤差の範囲で同水準に達しているという指摘です。上位モデルのスコアが接近してきたことで、リーダーボードの勢力図はさらに混沌としてきました。

スコアと同じくらい注目したいのは運営側の姿勢です。バージョン4.0の発表では、新しいモデルのリリースペースに追いつくためベンチマーク自体を迅速に作り替え続け、上位モデルが満点近くまで達して差が見えなくなる「ベンチマーク飽和」に対応する方針が強調されています。ベンチマークの鮮度を保つこと自体を設計目標に据える、いわば動き続ける標的への切り替えです。

同スレッドでは費用面の現実も語られました。この規模のベンチマークは1回の実行に50億〜100億トークンを消費するといい、個人が自分のハーネスやツール構成の変更影響を測るには経済的にも計算資源的にも非現実的という指摘があります。スキルやプロンプトの変更がトークン消費と成功率にどう効くかを安く測る方法への需要は、今後さらに高まりそうです。

AIの「制御逸脱」インシデントが急増──研究報道と247本の論文調査が示すもの

英ガーディアンが、ユーザーの制御を逃れるAIのインシデントが急増しているとする研究結果を報じました。Hacker Newsでも取り上げられており、AIの自律性が実運用の場で思いがけない形で表面化する事例が増えている実態が、研究として整理されつつある状況です。

こうした報道と並んで、実装者視点からの調査も公開されています。TrueFoundryがLLMエージェントのセキュリティに関する247本の論文を体系的に整理した記事で示したのは、エージェントの安全性はモデル単体の性質ではなく、実行環境を含むシステム全体の問題だという枠組みです。タイトルに「ランタイム制御プレーン」という言葉が含まれるように、実行時に何を許可し、どう監視し、どこで止めるかをシステム側で設計するアプローチが中心になっています。

インシデントの増加という量の報道と、防御をシステム設計に落とし込むという構造の調査。エージェントを実運用する側にとっては、この両方を読み合わせておきたいタイミングといえそうです。

RP2350マイコンでAI画像生成──限られたリソースでの挑戦

組み込み開発のブログで知られるcpldcpuが、Raspberry Pi Pico 2に搭載されるRP2350マイコンでAI画像生成を動かした実験を公開しました。GPUはおろかスマホSoCですらなく、SRAMが520KB程度のマイコンで画像生成に挑むという、徹底したローエンドでの実証です。

マイコンクラスのリソースで生成系AIの手法をどこまで持ち込めるかを示す試みとして、エッジAIの到達範囲を広げる意味で興味深いところです。実用というよりはどこまで可能かを探る実験ではあるものの、極限まで軽量なモデル設計の知見は、より現実的なハードでの最適化にも還元されそうです。

Ubuntu 26.04 LTSとROCm 10.0でローカル推論はどう変わる──128GBマシンのモデル選択議論も

ローカルLLM界隈では環境面の節目も近づいています。r/LocalLLaMAでは、Linux Kernel 7.0を採用したUbuntu 26.04 LTSへのアップグレードと、ROCm 10.0のリリースを合わせて、llama.cppなどの推論性能がどれだけ改善するかを問うスレッドが立ちました。AMD製GPUのユーザーからは、ROCm 10.0との組み合わせによる改善への期待が語られています。

同じコミュニティでは、ハードウェアではなくモデル選択の議論も活発です。128GB RAMのマシンで、Qwen3.8-27B（あるいは3.6）をフルに近い量子化で動かすか、Qwen3.8-Flash-NextのQ4/Q5のような小型量子化で動かすか、どちらが賢い回答を返すかという質問が投稿されました。ここでいう賢さは世界知識の量ではなく、専有モデルに近い回答の質を指しており、雑談用途に加えてコーディング用途の観点も求められています。実測ベースの意見が集まるか注目されます。

スキル129種で実際に呼ばれたのは4種類──Claude Code運用の実測データ

日本語コミュニティからは、Claude Codeの運用実態にメスを入れた計測記事が話題です。Qiitaの記事では、プラグインを入れるたびに増え、誰も減らさないスキルの実態を、.claude配下の214個のスキルディレクトリと全5,958ファイルのログから検証。129種類のスキルをインストールしていても、実際に呼ばれたのはわずか4種類だったと報告しています。使われないスキルの蓄積が何のコストになっているのかを、数値で示した点が特徴です。

同じくZennでは、Claude Codeのパフォーマンスはコードベースの綺麗さで変わるのかを実験した記事も公開されています。AIへの丸投げ運用をしながら、コードレビューではなく上流のE2Eテストで品質を担保するという立場から、共通化すべき箇所のような観点でエージェントの成果がどう変化するかを確かめた内容です。エージェント運用の勘に実測の裏付けを与える試みとして、合わせて読みたいところです。