NVIDIAがGLM-5.2のNVFP4量子化モデルを公開—精度ほぼ維持で推論効率向上
NVIDIAは6月25日、ZAI(旧Zhipu AI)の大規模言語モデル「GLM-5.2」をNVFP4形式に量子化した「GLM-5.2-NVFP4」をHugging Faceで公開した。GLM-5.2はMixture-of-Experts(MoE)アーキテクチャを採用し、パラメータ総数753B(アクティブ40B)、最大コンテキスト長1Mトークンを誇る推論・コーディング特化モデルである。
量子化による精度低下は極めて小さく、GPQA Diamond(89.52→89.39)、SciCode(49.85→49.04)などのベンチマークでFP8ベースラインと同等の成績を維持している。IFBenchやAA-LCR(ロングコンテキスト再生)、τ²-Bench Telecom(エージェントツール利用)では量子化版がベースラインを上回る結果も記録された。
SGLangおよびvLLMでの推論を前提としており、NVIDIA B200/B300環境でテストされている。商用・非商用利用ともにMITライセンスで提供されており、実務導入のハードルは低い。
NVIDIA Nemotron-3-Super-120B—ハイブリッドMamba構造で50万トークンを完全処理
別のNVIDIAモデル「Nemotron-3-Super-120B-A12B」が、LocalLLaMAコミュニティで注目を集めている。ハイブリッドMamba2+周期的アテンション+MoEという独自構造(nemotron_h)を採用しており、Mamba層が一定サイズの再帰的状態を持つことでKVキャッシュの肥大化を防ぐ設計になっている。
コミュニティの実証報告では、RTX 3090×4枚(合計96GB VRAM、約71GB使用)の環境で、504,482トークンまでの「干し草の針探索(needle-in-a-haystack)」テストですべての深度で完全な再現を達成した。デコード速度は50万トークン時でも23 t/sを維持しており、同規模のフルアテンションMoEモデルが3万トークン時点で記録する速度に匹敵する。
一方で、文書前半に埋め込んだ指示が後半の矛盾する指示で覆される「リセンシーバイアス」も観察されており、長文書でのハードルールは末尾やシステムプロンプトに配置すべきとの知見が共有されている。
Anthropicが米政府とAIモデル制限緩和に向けた合意へ前進
Bloombergが6月26日に報じたところによると、Anthropicは米政府と、AIモデルに対する制限を緩和する方向で合意に向かいつつある。詳細は記事本文で確認する必要があるが、これはAI企業と規制当局の関係が変化しつつあることを示唆する重要な動きとみられる。
近年、AIモデルの輸出規制やセキュリティ要件をめぐっては、OpenAIやAnthropicを含む主要企業が政府と活発に協議を続けてきた。今回の報道が具体的にどのような条件を含むかは今後の公式発表を待ちたい。
日本のフィジカルAI投資が10.5兆円に—「実証から実装へ」
MONOistが報じたところによると、日本の官民合わせたフィジカルAI(物理的な実環境で動くAIシステム)への投資額が10.5兆円に達した。同記事は「実証から実装へ」という段階的移行が現場で動き出している状況を紹介している。
フィジカルAIはロボティクス、自動運転、製造現場の自動化など幅広い領域を含む。日本社会が抱える労働力不足の課題に対し、実装段階に入ることは実用化の加速を意味する。
Qwen3.6-35B-A3BでレシートのJSON抽出をローカル実行—Google Vision代替の実証
LocalLLaMAコミュニティで、RTX 3060(12GB)上でQwen3.6-35B-A3Bを動かし、日本語のレシート画像から店名・日付・小計・税額・合計額をJSON形式で抽出する実証実験が報告された。
約30枚の日本語レシートでテストした結果、関心のあるフィールドは一貫して正確に抽出できたという。1枚あたりの処理時間は約31.75秒、ピークVRAM使用量は約11GB。Google Vision APIの代替として、プライバシーとコストの観点から実用的な選択肢になり得ることが示された。
即時性はクラウドAPIに劣るものの、データを外部に送信しない利点は大きく、請求書やフォームなど定型文書の抽出にも応用可能なアプローチである。