FlashRT:CUDA専用推論ランタイムがロボティクスをリアルタイム化
PyTorchやTensorRTといった汎用フレームワークに頼らず、モデル推論パスを直接C++/CUDAカーネルで書き直すアプローチが注目を集めている。開発者が公開した「FlashRT」は、小バッチ・リアルタイムMLワークロードに特化した推論ランタイムだ。
クラウドLLMサービングではバッチ処理でオーバーヘッドを隠せるが、ロボティクスやVLA(Vision-Language-Action)モデルではバッチサイズが1で、すべてのレイテンシがそのまま出力に現れる。FlashRTは、散在する小さなカーネル、ノーマライズや残差結合の境界、量子化のオーバーヘッド、Pythonスケジューリングといった「数学以外の部分」を最適化する。
ベンチマーク結果は興味深い。NVIDIA Jetson Thor上でPi0.5を約44ms、RTX 5090では約17.6msで実行。GROOT N1.6はRTX 5090で約12.5〜13.1msを達成した。Qwen3.6 27BにNVFP4を適用したケースでは約129 tok/sを記録している。
特に注目すべきは、FP8が一貫して有効な一方、FP4/NVFP4は必ずしも万能ではないという知見だ。対象領域が小さく、変換やスケーリングのオーバーヘッドに囲まれている場合、FP4の恩恵は限定的になるという。
AIだけで12万6千行のAndroidアプリを構築した開発者のワークフロー
18年以上のソフトウェア開発経験がありながらKotlinの経験がゼロの開発者が、AIツールだけで本格的なAndroidアプリを作り上げた事例がHacker Newsで注目を集めている。
完成したアプリは約12万6千行のKotlinコード、398ファイル、約4万5千行のテスト、3000以上のユニットテストを含む。手書きのKotlinコードはゼロ行で、プロダクション到達まで4ヶ月だった。
鍵となったのはツールそのものよりもエンジニアリングプロセスだった。BMADフレームワークで要件とアーキテクチャを整備し、CLAUDE.mdにルールを蓄積してAIの「忘却」を防ぐ。セッション開始時にコンテキストをロードし、終了時に学習内容を保存する。コードレビューには別のLLMを使用し、異なる視点から品質を担保する。
「AIコーディングツールは魔法のコード生成器ではない。エンジニアリングプロセスの増幅器だ」と同開発者は強調する。ドキュメント化されたアーキテクチャ、明確なルール、テストとレビューの仕組みがあって初めて、AIは「不合理なほど効果的」になるという指摘は、AI支援開発の現実をよく表している。
Sphere Latent Encoder:球面潜在空間で画像生成を効率化
Hugging Face Daily Papersに掲載された研究「Sphere Latent Encoder」は、少数ステップの画像生成において新しいアプローチを提案している。
従来のSphere Encoderでは推論時にピクセル空間と潜在空間を往復する処理がボトルネックだった。今回の手法では、事前学習済みの表現オートエンコーダ(RAE/DINOv2ベース)を固定し、ノイズ付き潜在表現を超球面に射影した上で、トランスフォーマーデノイザを直接潜在空間で訓練する。推論時は数ステップで潜在表現を洗練し、最後に一度だけデコーダを呼び出す。
ImageNet-1Kでの結果は良好で、4ステップCFG設定のFIDを4.02から2.25に改善。6ステップでは2.11を達成している。特に低NFE生成が優先される場面で、強力な意味的潜在表現と球面モデリングの組み合わせが実用的な選択肢になる可能性があるとされている。
現時点での制限も明確で、クラス条件付き生成に焦点を当てている点、強力な事前学習済みオートエンコーダに依存している点、高品質な1ステップ生成は依然として困難な点が挙げられている。
Distribution Fine Tuning:LLMの文章品質を改善する新しい事後学習
LLMが生成する文章の「機械的な違和感」を解消する新しい技術「Distribution Fine Tuning(DFT)」が提案された。
従来のファインチューニングが特定のタスクやフォーマットへの適応を目的とするのに対し、DFTは出力分布そのものを調整し、より自然で人間らしい文章を生成させることに焦点を当てている。具体的な手法の詳細は公開された記事で解説されているが、LLMの文章における反復的なパターンや不自然な言い回しを軽減するアプローチとして注目される。
LLMの文章品質は実用上の大きな課題の一つであり、この分野の研究が進めば、AI生成コンテンツの質の向上につながる可能性がある。