DenoiseRL — 失敗からの自己修正を強化学習で実現

DenoiseRLは、外部の強い教師モデルや慎重に作られたデータセットに頼らず、弱いモデル自身の誤った推論トレースから学習するRLフレームワークだ。誤った推論プロセスを「回復の機会」として活用し、よりスケーラブルで外部リソースに依存しない学習を実現する。

数学・一般推論の競争力のあるベンチマークで、DenoiseRLは強力なオンポリシーRLベースラインを一貫して上回った。訓練の難易度が上がるにつれて自己修正行動も強化される傾向が確認されており、LLMの推論能力を高めるスケーラブルなアプローチとして注目される。

NVIDIA LocateAnything — Qwen3-VLの10倍速で高精度グランディング

NVIDIAが「LocateAnything」をリリースした。Parallel Box Decodingを採用した高速・高品質なVision-Language Groundingモデルで、Qwen3-VLと比較して約10倍の高速化を達成している。

3BパラメータのモデルがHugging Faceで公開されており、デモも利用可能。NVlabsのEagleリポジトリでソースコードが提供されている。

OpenBMBがUltraData-SFT-2605を公開 — 1500万サンプル超の高品質SFTデータ

OpenBMBが、MiniCPM5-1B-SFTのポストトレーニングに使用されたコアSFTデータセット「UltraData-SFT-2605」を公開した。数学、コード、知識、指示追従など7つのドメインをカバーし、Deep ThinkingとNon-thinkingの両方のサンプルを含む合計1500万以上のサンプルが含まれている。

特徴的なのは、6段階の高品質SFTデータ管理パイプラインだ。クエリのフィルタリング、回答品質の検証、単一データバリデーション、ベンチマーク汚染除去まで徹底的な品質管理が行われている。Apache 2.0ライセンスで公開されており、小規模モデルの訓練やポストトレーニング手法の研究に活用できる。

B³D-RWKV — RWKV上で双方向拡散を可能にするTriplet-Block設計

拡散モデルには双方向アテンションが必要だが、RWKVのような効率的な線形モデルは因果的（一方向）に制限されている。この根本的な矛盾を解決するのがB³D-RWKVのTriplet-Blockレイアウトだ。

RWKVのO(L)推論効率を維持したまま、双方向の離散拡散を並列実行可能にする。7.2Bモデルで既存ベースラインに対して約1.6倍のデコードスループット向上を達成しつつ、精度も競争力を保っている。

Fast-dDrive — 自動運転向けBlock-Diffusion VLA

自動運転のエンドツーエンドアプローチでは、高精度な軌跡計画と効率的な推論の両立が課題だ。自己回帰モデルはエッジハードウェアでメモリ帯域に制約があり、拡散モデルはKVキャッシュの再利用が困難という問題があった。

Fast-dDriveはBlock-Diffusion VLAで、意味的単位内では双方向の精緻化を行いつつ、単位間では厳密な因果順序を強制する。WOD-E2EテストセットでSOTAのADE@3s・ADE@5sを達成。nuScenesでは平均L2誤差を0.32mに抑え22%の改善を記録した。SGLangとの統合でARベースラインの12倍のスループットを実現している。

SAEでLLMポストトレーニングのデータ工学を最適化

Sparse Autoencoder（SAE）の内部表現を活用して、LLMのポストトレーニングにおけるデータの多様性・難易度・品質を予測する手法が提案された。RLポストトレーニングのデータ選択をより体系的にガイドできるようになる。

KVキャッシュ量子化の実践的ベンチマーク — q5/q6が最適解に

Qwen 3.6 27Bを使った38の量子化ペアの詳細なベンチマークが公開された。主な発見として、q5_0とq5_1のKVキャッシュは過小評価されており、q8_0/q4_*のペアはコミュニティの評判ほど優れていないことが判明。

実用的な推奨は、高品質向けにq8_0/q6_0かq8_0/q5_1、VRAMに余裕がない場合はq5_0/q5_0かq5_0/q4_1、最後の手段としてのみq4_0/q4_0という階層的なアプローチ。