Princeton大「CEO-Bench」:AIエージェントの経営能力を500日シミュレーション、大半が破綻

プリンストン大学の研究チームは、AIエージェントが架空のソフトウェア企業を500日間(シミュレーション上)経営するベンチマーク「CEO-Bench」を構築した。結果は厳しいものだった――現在の主要モデルの多くが開始資本を割り込み、わずか3モデルのみがプラスで完走したという。

さらに興味深いのは、AIすら使わないシンプルなルールベースのヒューリスティックが、ほぼすべてのAIモデルを上回る成績を記録した点だ。AIエージェントの自律的な意思決定能力が、まだ単純なルールに及ばない領域があることを示唆している。

この結果は、AIエージェントの実用性を評価する際の重要な視点を提供する。「自律的に複雑なタスクをこなせる」という期待に対し、長期的な戦略的意思決定では依然として人間の設計したルールが有効な場合があることが分かる。

ゼロからC言語で書かれたQwen 3推論エンジンが公開

RedditのLocalLLaMAコミュニティで、Qwen 3(4B以下)向けのCPU-only推論エンジンがスクラッチでC言語によって書かれ、公開された。外部依存はlibc、libm、cJSONのみ(OpenMPによる並列化も可能)。HuggingFaceのsafetensorsから直接読み込み、4-bit量子化をオンザフライで実行する。

開発者は機械学習の背景がないCプログラマで、LLMの仕組みをゼロから学ぶ過程でこのエンジンを構築したという。ChatGPTを「教師」として活用しつつも、コードはすべて自ら書き、学習目的を優先して可読性を重視した。結果として1トークン/秒という速度ながら、教育価値の高い実装となっている。

既存の高速なC実装(qwen3.c)と比較して「コードが読みやすく学習に適する」ことを目指した点が特徴的で、LLMの内部構造を理解したい開発者にとって貴重なリソースと言える。

DuckDuckGoがローカルLLMエージェントにCAPTCHAを表示、検索連携に影

LocalLLaMAコミュニティのユーザーから、llama.cppベースのローカルLLMエージェントがDuckDuckGo検索を使用する際、CAPTCHAによるブロックに遭遇し始めたとの報告が相次いでいる。エージェントが「DuckDuckGo is blocking with a CAPTCHA. Let me try other approaches」といったメッセージを出力する事象が確認されている。

これは、AIエージェントの検索ツール利用に対するポータル側の対策が強化されていることを示唆する。ローカルLLMを使用した自動化ワークフローにおいて、検索APIの利用可能性が制約になり得るという実践的な知見である。

role-model:ローカルとクラウドAIを統合するルーティングプロトコル

Hacker Newsで「role-model」という、ハイブリッドなローカル/クラウドAIルーターが発表された。決定論的なルーティングとコントローラーモデルへのフォールバックを組み合わせ、タスクタイプに基づいて最適なモデル(ローカルまたはクラウド)を選択する。

特徴的なのは、モデル間の差異が大きいほどルーティングの価値が増すという設計思想だ。フロンティアモデル同士の振り分けよりも、速度・コスト・品質で段差のあるモデル群の使い分けに真価を発揮する。また、専門特化型モデルの市場形成を促す二次効果も期待できるとしている。

日本語コミュニティの動き:GEO、AIクローラ仕様、Strands Agents

Qiitaでは、AI検索時代のコンテンツ最適化手法「GEO(Generative Engine Optimization)」や、主要AIのWebクローラ仕様まとめ、AWS Strands Agentsのツール連携実装など、実践的な日本語記事が公開された。特にGEOはChatGPTやPerplexityなどのAI検索エンジンで自社コンテンツが引用されやすくする手法として、コンテンツ制作の新たな指針となりそうだ。