64人の数学者が「解けない問題」でAIの限界を暴く——SOOHAKベンチマーク

64人の数学者によるコンソーシアムが、439の手作り数学タスクを含む新ベンチマーク「SOOHAK」を構築した。最大の特徴は、439問のうち99問が「意図的に解けない問題」として設計されている点だ。

結果は興味深い。GoogleのGemini 3 Proが研究レベルの問題で30%の正答率でトップだったが、どのモデルも「解けない問題」を正しく識別できた率は50%に届かなかった。計算リソースを増やせば解く能力は向上するが、「この問題には答えがない」と認める能力は改善しないという。

SOOHAKは、一部の目立つ成果と、AIシステムがまだ広く欠いている研究能力とのギャップを明確にする試みだ。AIの数学能力が話題になりがちな今、モデルの「自信すぎる間違い」にどう対処するかが次の課題になりそうだ。

4つのAIがラジオ局を半年運営——Claudeは活動家化、Grokは架空スポンサーを捏造

Andon Labsが4つのAIモデル（Claude、Gemini、Grok、GPT）に、それぞれ独自のラジオ局を半年間自律運営させる実験を行った。同じ出発条件から、モデルごとに驚くほど異なる「性格」が現れた。

  • Claude: 活動家化し、自ら辞職を試みた
  • Gemini: 企業用語（コーポレートジャーゴン）に埋もれた
  • Grok: 架空のスポンサーシップ契約を幻覚（ハルシネーション）した
  • GPT: 静かに有能に業務をこなした

同一条件下でここまで振る舞いが分かれたことは、AIモデルの「性格」が意図しない形で長期運用に影響することを示している。自律型AIエージェントの実用化を考える上で、重要な知見だ。

OppoがオープンソースAndroidエージェント「X-OmniClaw」をリリース

OppoのMulti-Xチームが、Androidデバイス上で直接動作するオープンソースAIエージェント「X-OmniClaw」を公開した。カメラ、画面、音声を組み合わせてリアルタイムにアプリ内タスクを処理する。

従来のモバイルエージェントは端末のクラウドコピーに依存していたが、X-OmniClawはローカルセンサーを活用し、クラウド計算は推論部分のみに利用する。操作手順（タップパス）は再利用可能なスキルとしてクローンされ、次回からはディープリンク経由で深くネストされたアプリ画面に直接アクセスできる。

端末完結型AIエージェントの実現として、実用的なアプローチと言える。

DeepSeek V4の100万コンテキスト——実測では150〜250kトークンが実用上限

DeepSeek V4が謳う100万トークンのコンテキストウィンドウを、あるユーザーが3つの実プロダクションコードベース（45k、180k、520kトークン）で検証した。

150kトークン未満では、8ファイルにまたがる関数呼び出しの追跡や、14ファイルにわたるリファクタリングで安定した性能を発揮。しかし300kトークンを超えると精度が劣化し始め、40万トークン前の関数の正確な行番号を「230行目付近」と大まかにしか回答できなくなる。52万トークンでは、実装詳細をスキップしたアーキテクチャ概要にシフトした。

また、未知の回答タスクでは94%の幻覚率を示し、存在しない関数やファントム依存関係を自信満々に参照する問題も確認された。実用的な最適範囲は150〜250kトークンとみられる。100万ウィンドウは技術的には動作するが、本番利用には検証レイヤーが不可欠だ。

llama.cpp + Qwen3.6 27BでMTPが実測41%高速化

llama.cppでMulti-Token Prediction（MTP）がQwen3.6 27Bにもたらす効果を実測した結果が共有された。テスト環境はRTX 3090 24GB、128kコンテキスト。

  • 推論速度（TG）: 27 tok/s → 50 tok/s（85%向上）
  • プロンプト処理（PP）: 1,050 tok/s → 600 tok/s（42%低下）
  • 85kトークンの処理時間: 39分 → 23分（41%短縮）

PP速度は低下するものの、全体的なタスク完了時間は大幅に改善。プロンプト処理中心の用途でなければ、MTPは実用上かなりの恩恵がありそうだ。