Vision LLMはOCRに勝てない？ — 長文書QAの実測ベンチマークが示す結果

RedditのLocalLLaMAコミュニティとMachineLearningコミュニティの両方で注目を集めているベンチマーク結果が公開された。画像・表・グラフを含む30件の長文PDFを使い、「Vision LLMにそのままPDFを読ませる」アプローチと「OCRパイプラインを通してからLLMに処理させる」アプローチを比較したものだ。

テストにはClaude Sonnet 4.5を使用し、171問のQAタスクで評価を行った。結果は以下の通り。

アプローチ 精度 1問あたりコスト
LlamaCloud premium + full-context 59.6% $0.1885
Azure premium + full-context 58.5% $0.2051
Azure basic + full-context 54.4% $0.1062
Agentic RAG 53.2% $0.0827
Native PDF (Vision LLM) 52.0% $0.2552
LlamaCloud basic + full-context 50.9% $0.1049

Native PDF（Vision LLM直接読み取り）は6手法中5位で、かつ最も高額だった。特にチャートや表が多いページでのVisionの弱さが目立ち、プレミアムOCR + レイアウト抽出の方が堅牢だったという。

また、Native PDFアプローチには7%の intrinsic failure rate（リトライ後も復旧しない失敗）が見られ、PDFファイルサイズに起因する問題が原因。一方でOCRベースの手法はリトライ後の失敗率が0%だった。

ただし30文書というサンプルサイズは小さく、McNemar検定の結果、15ペア中統計的に有意な差が確認できたのはわずか3ペアだった。Vision対OCRという比較自体は統計的に有意だが、順位の一部はノイズの可能性がある点には留意が必要だ。

AutoRubric-T2I — テキスト→画像アライメントの解釈可能な報酬モデル

Hugging FaceのDaily Papersに「AutoRubric-T2I」という研究が掲載された。テキストから画像を生成するモデルの品質を評価する報酬モデルにおいて、少量の画像嗜好データから自然言語ルーブリック（評価基準）を自動学習する手法だ。

従来の報酬モデルでは大量のアノテーション付き嗜好データが必要だったが、AutoRubric-T2Iは必要なアノテーションデータを0.01%未満に削減。VLM（視覚言語モデル）をベースにした評価が可能で、ファインチューニングなしで動作する。解釈可能性が高い点も特徴で、なぜその評価になったかを自然言語で確認できる。

2026年5月時点のTTS包括ベンチマークが公開

Redditユーザーが「既存の適切なTTSベンチマークがなかった」として、主要なTTSモデルを網羅的に比較するオープンソースベンチマーク「tts-bench」を公開した。

WindowsとMacの結果はすでに掲載されており、Linux版（Radeon 5900XT + RTX 3090ワークステーション）も近日公開予定。結果はHTMLページで閲覧可能で、ローカルTTSツールの選定に役立つ実用的なリソースと言える。

Perplexityがサプライチェーン防御ツール「bumblebee」をOSS公開

QiitaのGitHub日報によれば、Perplexityが「bumblebee」というGo製のサプライチェーン防御ツールをオープンソースで公開した。GitHubトレンドに初登場し、1,300スターを獲得している。

サプライチェーン攻撃はオープンソースエコシステム全体の脅威となっており、直近ではTeamPCPによる大規模な汚染事件も報告されている。こうした背景から、サプライチェーンセキュリティに特化したツールの登場は注目に値する。

大規模モデルのRAMオフロード — GPU VRAM vs システムDRAMの性能差は？

Reddit LocalLLaMAで、DeepSeek V4 Proのような巨大モデルをローカル動作させる際の「GPU VRAMとシステムDRAMの使い分け」に関する議論が活発化している。

GPU VRAMは高価だが高速で、システムDRAMは安価だが帯域が狭い。MoE（Mixture of Experts）アーキテクチャではエキスパートが頻繁に切り替わるため、VRAMとDRAM間のデータ転送がボトルネックになる可能性がある。

議論の焦点は、RTX 5090（48GB）とRTX 6000（96GB）で実際に性能差が出るのか、そしてエキスパートのVRAMキャッシュがどの程度効果的かという点だ。現時点で確定的な結論は出ていないが、デコード時のボトルネックがシステムRAM帯域に依存する可能性が示唆されている。