仕事や開発でLLMを使う人が増えるなか、APIの「考える量」指定が実際に何を変えるのかを事前登録済みの実験で検証した研究が公開された。自律的な科学研究能力を測る新しいベンチマーク、Anthropicによるタンパク質設計データセットの公開、744BモデルをRAM 25GBで動かす試みなど、8月19日に収集した海外AIニュースから重要な5本をまとめる。

reasoning effortの「high」指定、精度には効かずコストだけ増す

API経由でLLMを利用するとき、「どれだけ考えるか」を reasoning effort パラメータで指定できるサービスが増えている。この指定の実効性を統計的に検証した論文「The Price of Thinking」が公開された。

対象はSonnet 5。AIME 2026の30問を各5回ずつ、effortを明示的にhighにした契約と省略した契約で呼び出し、コストと精度をペア比較した。その結果、明示的なhigh指定では1呼び出しあたりの平均コストが約0.0103ドル高かった。一方、精度の差は+1.33ポイントとプラス方向に振れたものの統計的には検出できず、この設計では最大4.67ポイントの利得まで排除できないという。正答1個あたりのコストで比較しても、high指定側が約0.0867ドル、省略側が約0.0766ドルと、high指定が割高だった。

論文はさらに、effort省略時の挙動が同じプロバイダ内のモデル間でも異なる「モデル固有のAPI契約」になっていると指摘する。難問でeffort指定が効く場面はあるだろうが、「とりあえずhigh」という運用は、この測定範囲では費用だけが積み上がる可能性がある。

「ASIの夜明け」を測る新ベンチマーク：AIは人間の道筋なしでは約半分

既存の知識を整理するだけでなく、未知を探索して新しい知識を検証可能な形で生み出す能力――人工超知能（ASI）に求められる力を、プロジェクト単位の研究タスクで測る「ASI-Bench」が公開された。40人を超える専門家が延べ31,000時間以上をかけて構築し、11の科学分野から60の研究タスクを含む。

特徴は、同じ研究プロジェクトの中で人間の方法的ガイダンスを段階的に引き抜く設計だ。18種類の最先端エージェント×モデル構成での平均スコアは、ガイダンスが完全な状態では50.91だったのに対し、手法名だけを与えると29.10、手法の選択自体をAIに任せると26.62まで下がった。

既存知識の再現ではなく自律的な探索と実行を問うと、現行システムはまだ人間の道筋に強く依存している――というのが、このベンチマークが示す現在地だ。ベンチは一般公開されており、新しいタスクの投稿も受け付けている。

AnthropicがClaude設計とみられるタンパク質バインダーデータセットを公開

Hugging FaceにAnthropic名義の「claude-protein-binder-design」というデータセットが公開され、トレンド上位に浮上した。収集時点で公開されているデータには、設計名（mythos_preview_multi_target など）とともにアミノ酸配列、in silico設計の経路情報、標的タンパク質との接触残基リストが含まれている。データセット名から、Claudeを使って設計したタンパク質バインダー候補のコレクションとみられる。

LLMの生命科学応用では、創薬とタンパク質設計が本命とされてきた。モデル開発元自身が設計成果をデータセットとして公開するのは、テキスト生成の枠を超えた研究の進展を示す材料になりそうだ。

744BのGLM-5.2をRAM 25GBで動かす「colibri」：MoEエキスパートをディスクから流す

ローカル推論の界隈では、極端な方向の試みが注目を集めている。Zennで紹介されたのは、744BパラメータのGLM-5.2をGPUなし・RAM 25GBのノートPCで動かす「colibri」というエンジンだ。MoEモデルのエキスパート重みをディスクから必要な分だけストリーミングすることで、メモリに載りきらない巨大モデルの実行を可能にしている。

ただし速度はおよそ0.1トークン/秒。返答1本に夜通しかかる世界で、実用速度からは程遠い。それでも話題になったのは、「大きなモデルを動かすために本当に必要なメモリは何か」という前提を組み替えている点だと記事は指摘する。Hacker NewsのShow HNで見かけた当初は誇張と思われたが、リポジトリを確認すると実在する話だったという。

同じローカル系では、7.9B（活性約1.4B）のMoEモデル「Ling-3.0-tiny」を、249ドルだったJetson Orin Nano Super 8GBでフル128Kコンテキスト動作させた報告もRedditに投稿された。IQ4_NL量子化（4.40GB）を使い、生成速度は約33トークン/秒。8GB統合メモリのボードでこの速度とコンテキスト長は、エッジデバイスでAIを常駐させる選択肢の現実味を増してくる数字だ。

臨床試験プログラミングで100%構造一致を達成した「GxP-Agent」

治験プロトコルをCDISC標準の解析用データセットに変換する臨床試験プログラミングは、規制提出のボトルネックの一つだが、LLMによる単発のコード生成はこの課題にほぼ歯が立たない。論文によると、5つのフロンティアモデルによる11回の単発試行のうち、有効な被験者レベルの解析データセットを生成できたものは1つもなかったという。

「GxP-Agent」は発想を変え、規制上の工程順序そのものをDAG（有向非巡回グラフ）として明示的に組み込んだ。データセット生成を15のドメイン特化ノードに分解し、各ノードを検証ゲートと条件付きリトライ付きのワーカーエージェントが実行する。FDAのパイロット提出データから構築した実行ベースの新ベンチマーク「CDISC-Bench」（254被験者・49個の正解変数）で、Claude Sonnet 4.6を用いたGxP-Agentは3回の独立実行すべてで100%構造一致（49/49変数、254レコード）を達成した。検索拡張ベースラインの最良値は59.2%、シングルエージェントとフラットなマルチエージェント構成は0%だった。

興味深いのは、同じDAGトポロジーの下ではGPT-4.1も59.2%まで持ち上がる一方、他の構成では0%のままという結果だ。モデルの推論力を上げるより、ドメインの工程知識をグラフ構造として与えることの方が決定的になる――そんな示唆を含む。有害事象（ADAE）向けに9ノードの分岐DAGを構成した拡張でも、初回実行で100%に達している。

以上、本日のまとめ。APIコスト、自律研究の現在地、生命科学、ローカル推論、ドメイン特化――粒度は違えど、いずれも「LLMの能力をどう扱い、どこで使うか」という実践の問いにつながるニュースだった。