RTX 5070がローカルLLM推理速度でRTX 3090を逆転
RedditユーザーのCaleb Coffie氏が、RTX 5070（12GB GDDR7）、RTX 3090（24GB GDDR6X）、AMD Strix Haloの3環境で、0.35B〜35Bパラメータのモデルを体系的にベンチマークした結果を公開した。
最も注目すべき発見は、12GB以下のVRAMに収まるモデルではRTX 5070がRTX 3090を推理速度で上回るという点だ。GDDR7の高いメモリ帯域幅が、decode性能の決定的な要因であることが再確認された。
具体的な比較（短文チャット）:
| モデル | RTX 5070 | RTX 3090 |
|---|---|---|
| Gemma-3-4b | 156.6 tok/s | 142.0 tok/s |
| Gemma-4-E4B | 124.3 tok/s | 118.4 tok/s |
| LFM2-8B-A1B | 336.1 tok/s | 318.7 tok/s |
一方、14B〜31Bクラスのモデルでは3090の24GB VRAMが有利に働き、Qwen3.6-27Bでは3090が21.1 tok/sに対しStrix ROCmは11.2 tok/sと大きな差がついた。
Quantization（量子化）の影響も検証されており、Qwen3.6-27BではQ2からQ6までの範囲で1.6倍の速度差があり、Q4_K_Mが品質と速度のバランスでスイートスポットと結論付けられている。
また、Qwen3.5/3.6の推論モデルは出力tok/sだけ見ると実態より約5倍遅く見える点にも言及。多くの出力が非表示のreasoning_contentチャネルを経由するため、ユーザー体感速度と測定値に大きなギャップがあるという。
なぜ重要か: 消費者向けGPU（RTX 5070）で前世代のハイエンド（RTX 3090）を超える推理速度が得られることは、ローカルLLMの民主化を加速させる。ただしモデルサイズが12GBの壁を超えると依然としてVRAM容量が支配的であり、用途に応じたハードウェア選びの指針になるデータだ。
curlメンテナー「AIセキュリティ報告はもはやスロップではない」
curlのメンテナーであるDaniel Stenberg氏が、AI生成のセキュリティ報告の品質が大幅に向上したことを認める記事を発表した。
これまでAIが自動生成するセキュリティレポートは、誤報や無意味な内容が多く「スロップ（slop）」として扱われていた。しかし、Stenberg氏は最近のAI生成レポートが実用的なレベルに達しつつあると評価している。
なぜ重要か: OSSプロジェクトにとってAI生成のセキュリティ報告の洪水は大きな負担だった。品質が向上すれば、AIをセキュリティ監査の補助ツールとして本格的に活用できる可能性が開ける。ただし、現時点ではまだ人間のレビューが不可欠である。
AtomicMemory：AIエージェント向けオープンソースメモリエンジン
コミュニティマネージャーが、AIエージェントのメモリ管理を目的としたオープンソースエンジン「AtomicMemory」を公開した。
最大の特徴は、AIが記憶した情報をユーザーが直接検査・修正できること。従来のAIツールでは、誤って記憶された情報を確認・修正する手段がほぼなく、サポートチケットに頼るしかなかった。
AtomicMemoryは5つの独立したドメインで構成されている:
- Ingest - AUDN（Add, Update, Delete, Supersede, Clarify, No-op）による記憶の分類・格納
- Search - 意味ベースの検索（キーワード一致のみではない）
- CRUD - LLMを介さない記憶の直接アクセス
- Lifecycle - 記憶の減衰推奨（削除はユーザー制御）
- Trust - 書き込み時の信頼スコア付与と読み出し時の参照
Docker + PostgreSQL + pgvectorで構成され、Anthropic、OpenAI、Ollama、Google、Groqなど複数のLLMプロバイダーに対応。
なぜ重要か: AIエージェントの実用化において、記憶の正確性と透明性は未解決の課題。特に企業用途では、AIが誤った情報を記憶し続けるリスクが大きい。記憶の検査・修正をアーキテクチャレベルで保証するアプローチは、エージェントの信頼性向上に貢献する可能性がある。
Sandia国立研究所がAI視覚検査を実用化
米国のSandia国立研究所が、AIを用いたコンポーネント検査システムを発表した。製造業における部品の欠陥検出にAIの画像認識技術を適用する取り組みで、目視検査の効率化と精度向上を目指す。
なぜ重要か: AIの製造業への応用は進んでいるが、国家研究所レベルでの実用化事例は、信頼性要求の高い分野でのAI適用が本格化していることを示唆している。
Gemma 4 31Bの非検閲ファインチューンが公開
Hugging Face上で、Gemma 4 31Bをベースにしたファインチューンモデル「G4-Meromero-31B-Uncensored-Heretic」が公開された。クリエイティブ用途を想定しており、KLD（KLダイバージェンス）0.0100、拒否率15/100という指標が報告されている。Safetensors形式とGGUF形式の両方が提供されている。