8月21日のAIニュースまとめ。今回は研究報告が中心で、LLMの創造性をめぐる意外な長期トレンド、長時間稼働するエージェントの「記憶」の弱点、安全が求められる航空管制へのLLM応用、動画生成モデルの視覚推論力を測る新ベンチマーク、そして画像生成モデルSenseNova U1.5-Liteの完全リリースを取り上げる。
LLMの創造的出力は3年間で均質化していた
正解のあるタスクのベンチマークは数多く存在するが、創造性や独創性が問われる開放型タスクでの性能推移はあまり分かっていない。この空白を埋めるため、3年分のモデルリリースにわたるLLMの創造的出力を分析した研究が公開された。
研究では、実際の開放的なユーザークエリ集「Infinity-Chat100」と、創造性評価で定評のある心理測定課題「代替用途課題(Alternate Uses Task)」へのモデル回答を収集。文埋め込み類似度で出力間の近さを測った結果、モデルの出力多様性は時間とともに統計的に有意に低下していることが分かった。つまり、異なるモデルに同じ問いを投げても、創造的な中身が互いに似てくる──いわば「均質化」が進んでいる可能性があるという。
著者らは、この傾向が続けばLLM経由の均質化が人間とAIの共創作業における人間のエージェンシー(主体性)を段々と狭める恐れがあると指摘する。ブレインストーミングやアイデア出しをAIに頼る場面が増えるほど、選択肢そのものが収束していく──という悪循環を懸念した報告であり、創造性を「支援」するツールの設計に一石を投える内容だ。
エージェントの記憶システムは「上書きされた事実」に弱い
長時間・高リスクタスクへLLMエージェントが展開されるなかで、既存の記憶ベンチマークは想起(リコール)中心の課題が多く、「世界の状態が変わり続けること」の評価が抜け落ちていた。新研究はこの隙間を突く。事実・制約・決定が長い対話のなかで改訂されていくとき、答えは「現在の状態」を反映すべきで、置き換えられた古い状態を引っ張ってきてはならない──この能力を「状態追跡(state tracking)」と定義し、234件のマルチセッション・シナリオからなるベンチマーク「StateMemBench」を構築した。
採点は、回答が現在の状態を反映しているか、廃止された古い状態か、それ以外の失敗かを分類する閉鎖プール方式で、状態追跡の失敗を他のエラーと機械的に分離できる設計という。評価の結果、この課題は既存の記憶システムにも検索拡張(RAG)ベースラインにも長文コンテキストベースラインにも厳しいことが判明した。
研究では状態の置き換え(スーパーセッション)と関係依存を明示的に追跡する「StateMem」という手法も提案。同一バックボードでの比較で、DeepSeek-V4-Flashでは最強ベースラインの約1.8倍(現在状態の正解率0.205→0.363)、Qwen-3.5-9Bでは既存最強の記憶システムの約1.6倍(0.149→0.233)と改善した。既存の記憶システムに軽量な単一呼び出しラッパーとして適用しても精度が上がることも示され、「長く働くエージェント」を実用する上での必修課題を浮き彫りにしている。
LLMに航空管制をやらせてみた──「厳しい指示」ほど崩壊する逆説
航空管制(ATC)の無線通信は安全クリティカルな対話でありながら、依然として人間が担っている数少ない領域だ。LLMでATC通信を生成できるかを実証的に評価した研究が公開された。
サンフランシスコ湾の遊覧飛行「Bay Tour」で実際に飛行した実験機の通信を手書き転記して正解データ(P0)とし、制約を段階的に強めた5種類のプロンプト構造(P1〜P5)を設計。パイロットの固定台本に対してLLMが管制官役を演じ、対話履歴を条件付けするステートフルなマルチターン・パイプラインを構築した。オープン・クローズドソース合わせて9モデルを対象に、プロンプトの違い、別飛行の完全な台本例(in-context例)の有無、自分の過去の応答と正解履歴のどちらで条件付けるかを変えて評価。ターンごとの類似度に加え、人間の専門家アノテーションと照合して妥当性を確認したLLM-as-judge(GPT-5.5)でも採点した。
結果には逆説が含まれる。台本例の提供は類似度を改善する一方、プロンプトを厳しく締め付けるほどむしろ悪化し、最も重くスクリプト化したプロンプトは対話が進むにつれて自らの誤りを履歴に蓄積して崩壊した。正解履歴を注入すると持ち直すものの、制約を増やせば増やすほどモデルの自己修復が利かなくなる──安全クリティカル領域へのLLM適用では「指示の厳密化」が必ずしも堅牢性に繋がらないことを示すデータとして興味深い。
動画生成モデルの「視覚推論」を測る──最強のSeedance 2.0でも51%
動画生成モデルには、生成フレームを通じてゼロショットの視覚推論がある程度可能という報告が積み重なっている。ただし評価が難しい。入力は現在の動画モデルの視覚的 prior に合致しているか、妥当な最終状態だけでなく過程の妥当性を要求できるか、難易度は「厳しすぎず一部は解ける」に調整されているか──こうした基準を満たすベンチマーク「VGI-BENCH」が新たに提案された。
27タスク・810インスタンスで構成され、タスク領域とスキルタグの2層分類で視覚推論能力を細粒度に評価する。結果は率直で、**現行の生成システムは視覚的根拠に基づく推論タスクの一部は解けるものの、信頼性からは程遠く、最強のSeedance 2.0でも基準を満たすのは51.0%**にとどまる。
分析も踏み込んでいる。失敗モード、入力条件への敏感性、合成データでのファインチューニングからの性能転移の境界に加え、内部のデノイジング過程の解析では自己修正が限定的で、後のステップは初期の仮説を洗練することはあっても、推論の誤りを立て直すことはほとんどない──という性質が見えてきた。生成と推論のギャップを埋める次世代モデルの開発を促すマイルストーンといえそうだ。
SenseNova U1.5-Lite完全リリース──「訓練では専門家、提供時は1モデル」
r/LocalLLaMAでSenseNova U1.5-Liteの完全リリースが報告された。ユニークなのは訓練戦略で、単純にスケールする代わりに、テキスト描画・インフォグラフィック、美的品質、画像編集それぞれに特化した専門家モデルを訓練し、それをOPD(on-policy distillation)でU1.5-Lite本体に統合した。推論時は1モデルだけで動き、ルーティングも専門家切り替えも手動選択も不要──「specialized in training, unified in delivery(訓練では専門家、提供では統一)」を標榜する。
ポストトレーニングには、指示追従・視覚品質と嗜好整合・編集忠実度(非編集領域の保存)という3つのユーザー視点目標を据えたタスク指向RLを含む。改善点として、複数制約(被写体・個数・空間関係・テキスト・レイアウト・スタイル・保存指定)を1リクエストで処理する複合指示追従、中国語・英語のポスターやインフォグラフィックでのテキスト描画、グローバル構造が安定したネイティブ4K生成、被写体同一性や編集領域外を保存するネイティブ編集が挙げられている。
ベンチマークでは、U1 PreviewからQwen-Image-Benchで47.14→55.20、ImgEditで3.9→4.37、GEdit-Bench-ENで7.47→8.14と伸びている。興味深いのは、視覚理解タスク(物体関係・空間構造・レイアウト・情報階層)で学んだ表現が生成・編集に転移するという報告で、「理解が生成を強化する」という方向性が商用モデルでも意識され始めている。
まとめ
今日の5本から読み取れるのは、生成AIの「量」ではなく「質と持続性」が問われ始めたということだ。創造的な多様性は3年で収束傾向にあり、長期稼働エージェントの記憶は事実の上書きに弱く、安全クリティカルな対話では厳格な指示が裏目に出る。一方で、状態追跡の明示的な設計や理解能力の生成への転移など、弱点を構造的に埋める工夫も着実に進んでいる。
