314万論文・16TB──arXiv完全コーパスがHugging Faceに

Hugging Faceに「secemp9/arxiv-complete」というデータセットが公開された。arXivのメタデータ、バージョン履歴、提出ファイル、レンダリング済み文書を丸ごと収めた完全コーパスで、対象は3,148,796論文、全体で16.08TBに達する。1986年のプレプリントから2026年8月末までをカバーする。

構成は9つのconfigに分かれており、論文単位のメタデータ（1.6GB）から、解決済みTeX本文（paper_text、70GB）、提出パッケージ全体（source、6.51TB）、PDFミラー（8.65TB）まで揃う。PDFはサイズが報告されているバージョンの99.54%を保持し、論文単位でも99.47%にPDFが存在する。paper_textだけでも推定780〜810億トークンという規模で、26MBのサンプルconfigから気軽に試せる。

ただし訓練コーパスとしてそのまま使えるわけではない。paper_textにはLaTeXの構文やコメント、マクロが残り、撤回スタブやテンプレートの誤選択も含まれる。ライセンスも論文ごとに異なり、コンパイル全体のCC0表示は各論文には及ばない。作者はこうした限界をデータセットカードで詳細に開示しており、大規模データセットの透明性の見本としても参考になる作りだ。

これまでarXiv系データセットはメタデータやTeXのみの部分集合が主流だった。提出パッケージ全体をSHA-256付きで検証可能な形でまとめた点が特徴で、LLMの訓練データや文献研究の基盤として活用が進みそうだ。

Qwen 3.8 Flash Nextがローカルで実用速度に──FreeTokenとhalogen 0.12.0

ローカルLLM界隈では、Qwen3.8-Flash-Nextを単一マシンで実用速度で動かす報告が2つ続いた。

1つはFreeToken。RTX 5090単体＋128GB DDR5の自作機で、expert cachingによりトークン生成約50 t/s（40〜60）、プロンプト処理約2,300 t/sを達成したという報告だ。llama.cppにはMoEモデルのexpert cachingがまだ実装されておらず、このギャップを埋める試みとして注目される。モデルはNVIDIAのNVFP4量子化版で、ほかのMoEモデルにも有効とされる。まだ初期段階で、KV量子化やMTPには未対応とのこと。

もう1つはStrix Halo（Ryzen AI Max+ 395、128GB）向けのhalogen 0.12.0。コンテキスト深度で性能が劣化するというフィードバックを受けて修正が行われ、約100万トークンのコンテキストでdecodeが27.3 tok/sから38.3 tok/sへ、prefillも21.2分から17.9分へ短縮された。プロンプトキャッシュが効いた2巡目は0.55秒で最初のトークンを返すという。

Apple Silicon勢の高速推論報告が続いていたが、Windows/Linuxの自作機やミニPC勢でも実用域に達しつつある。100万トークンクラスのコンテキストをローカルで回せる選択肢が増えている。

Jevとローカルモデル、Doomで直接対決

AIエージェント「Jev」とローカルの小規模モデルが、FPSゲームDoom（ViZDoom）で直接比較された。入力はゲーム画面から生成される短いテキスト記述（可視オブジェクトのラベル、バウンディングボックス、HPや弾薬の値）、出力は「左・右・撃つ」のような1つのボタン操作。ローカルモデルはDGX Spark 1台（NVIDIA GB10、128GB統合メモリ）で実行した。

Defend the Centerの平均キル数は、Jev 1.13が5.63、LoRAファインチューニングしたQwen3.5-4Bが3.63、Layaとファインチューニング済みModernCE-base-nliが1.25。Health Gatheringの平均生存時間でもJevが13.03秒でトップだが、差は小さい。レイテンシはModernCEのp50 7.6msに対しJevは117.3ms（API往復込み）。Doom特化の訓練はどのモデルにも行っていない。

テキストインターフェースだけとはいえ、4B級のローカルモデルがここまで戦えるのは興味深い。一方でJevの優位は明確で、専用設計のエージェントモデルと汎用LLMの差が数値として現れた形だ。

エージェントが操作しやすい画面の設計──Afforaの研究

AIが人の代わりにアプリやサイトを操作する「エージェント」時代のUI設計を問う研究「Affora」が公開された。日本語解説によれば、エージェントが画面をうまく操作できるかは見た目ではなく「裏の作り方」で決まり、意味を明示する設計にすると操作成功率が43%から90%まで向上するという。

エージェント対応を進める開発者にとっては、人間向けの視覚デザインとは別に、セマンティクスの明示が効いてくることになる。モデル性能の進化と並行して、操作される側の設計も問い直される段階に入った。

国内中小企業のAI活用「最後は人頼み」の現実

国内を見ると、ITmedia AI+で中小企業のAI活用をめぐる記事が並んだ。生成AIを導入しても現場で使いこなせなければ業務改善につながらず、AI人材の不足や研修、費用が壁となる中で、「必要な時だけ」専門家を活用する支援サービスや、導入から業務変革まで丸ごと支援するサービスが登場している。

またアビームとNotionは、社内に分散する知識や個人の経験則をAIが使える形に整える「企業ナレッジ」整備に注力。Generative Partnersは、RPAや生成AIを導入しても残る例外処理や目視確認といった「最後に人がやる仕事」をAIと人力で分担し、BPOとして丸ごと引き受けるサービスを始めた。

ツール導入の次の論点は、ナレッジの整備と人の役割の再設計──日本の現場の現実を浮かび上がらせるラインナップだ。