FlowLM：拡散モデルを数ステップ生成に変換する新しいパラダイム
拡散モデルをベースにした言語モデルは、高品質なテキストを生成できるものの、2000ステップもの反復サンプリングが必要で実用性に課題があった。これに対し、FlowLMは既存の拡散言語モデルを「フローマッチング」に効率的に変換する手法を提案している。
曲線状のサンプリング軌道を直線フローに再整列させることで、わずか数ステップで2000ステップ拡散サンプリングと同等以上の品質を達成。しかも学習エポック数はスクラッチ学習の半分で性能飽和に達し、事前学習済みモデルの知識をうまく活用できることも確認された。
テキスト生成の高速化という観点で、実用化に向けた一歩踏み込んだ研究成果と言える。
RLVRにも「学習不可能な問題」が存在する
強化学習（RLVR）は言語モデルの性能向上に不可欠な手法とされているが、Hugging Face Daily Papersに掲載された研究は重要な限界を指摘した。正解が時折サンプリングされる状況でも、「大部分の難問は学習不可能なまま残る」という発見だ。
原因は報酬ベースの訓練では修復できない「欠陥のある内部表現」にあると分析されている。これはRLVR万能論に対する重要な修正であり、モデルの表現そのものを改善するアプローチの必要性を示唆している。
「指示に従え」vs「パターンを補完せよ」——LLMの内部葛藤
「Do as I Say, Not as I Do」と題された論文は、LLMにおける「指示追従」と「パターン補完」の衝突を実証的に検証した。
ユーザーが「特定の言語で答えて」「特定のトークンを出力して」と指示しているにもかかわらず、会話の文脈に埋め込まれた対抗パターンにモデルが引きずられる現象を、13モデル・16種類の指示で調査。指示追従率はモデルによって1%から99%まで大きくばらつき、標準的な能力ベンチマークとは相関しなかった。
特に興味深いのは、モデル自身が自分の行動を83.5%の精度で予測できる一方で、自身のパターンへの弱さを「過小評価」する傾向がある点。Chain-of-Thought推論はロバスト性を改善するが、正しい推論と誤った出力の乖離（解離）を生むこともあるという。
Mix-Quant：エージェントLLMの長文脈推論を高速化
LLMエージェントはツール利用や記憶検索、多段階のやり取りを通じて複雑なタスクをこなすが、入力側のオーバーヘッドが大きく、prefilling段階が推論のボトルネックになりがちだ。
Mix-Quantは、この問題に対して「フェーズ認識型量子化」を提案する。入力処理（prefilling）段階では低精度の量子化で高速化し、出力生成（decoding）段階では高精度を維持するという、段階に応じた最適な量子化戦略。エージェントの長文脈・多ターン推論において、精度を犠牲にせずに大幅な高速化を実現する実用的なアプローチとして注目される。
Moshiで読み解く全二重音声対話の「同調」メカニズム
人間の会話では、話者の脳活動が同期する「ニューラルカップリング」が知られている。この現象をAI音声対話モデルで検証した研究が発表された。
Moshiモデルの2つのインスタンス間で全二重対話をシミュレーションし、チャンネルノイズや条件を操作して内部表現の協調を分析。ターンベースのシステムでは実現できない、人間の会話に近い相互作用ダイナミクスの解明に一歩近づく成果だ。
全二重音声対話は次世代のAIアシスタントの中核技術になる可能性があり、その基礎理解を深める重要な研究と言える。