AMD Strix Halo後継「Gorgon Halo 495 Max」が192GBメモリに対応か

VideoCardzのリーク情報によると、AMDの次世代APU「Ryzen AI Max Pro 495」（コードネーム Gorgon Halo）が192GBのメモリをサポートする可能性が浮上した。現行のStrix Halo（Ryzen AI Max 395）は最大128GBの統合メモリを搭載しており、ローカルLLMコミュニティで人気を集めていたが、後継機で192GBに増加すれば、122Bクラスの大規模モデルをQ8量子化＋フルコンテキストで実行できるようになる。

RedditのLocalLLaMAコミュニティでは、すでに現行のStrix Halo（128GB×2台＝計320GB）で巨大なMoEモデルの運用を計画する声も上がっている。192GB版が実現すれば、単体でより多くのモデルを快適に実行できることになり、ローカルAI環境の選択肢が大きく広がる見込みだ。

もっとも、これはあくまでリーク段階の情報であり、最終仕様は変更される可能性がある。

5年前の6GB VRAMノートPCでQwen3.6-35B-A3Bが実用速度で稼働

RedditのLocalLLaMAコミュニティで、2020年製のASUS ROG Zephyrus G14（RTX 2060 Max-Q 6GB VRAM、24GB RAM）でQwen3.6-35B-A3Bを実行し、約23トークン/秒の生成速度を達成したという報告が注目を集めている。

投稿者はllama.cppベースのllama-serverを使い、Q8_0のKVキャッシュ、ngram推測デコーディング（speculative decoding）、NUMA隔離、コンテキストチェックポイントなど多彩な最適化を組み合わせている。また、Tom's forkを使った128Kコンテキスト構成も公開しており、長文コンテキストでも動作可能としている。

5年前のミドルレンジGPUで35Bパラメータのモデルが実用的な速度で動くという結果は、オープンモデルの最適化がいかに進んだかを象徴している。

torch-nvenc-compress：GPU動画エンコーダをテンソル圧縮に転用

RedditのMachineLearningコミュニティで、NVIDIA GPUに搭載されたNVENC/NVDEC（動画エンコード/デコード専用ハードウェア）を使ってAIモデルの活性化関数やKVキャッシュをリアルタイム圧縮するライブラリ「torch-nvenc-compress」が公開された。

NVIDIAがRTX 4090/5090でNVLinkを廃止した結果、複数GPU環境でのPCIe帯域幅が約30GB/sに制限される問題があった。このライブラリは、計算に使われていないNVENCシリコンを使ってデータを圧縮・展開することで、実効帯域を大幅に向上させるというアプローチだ。

RTX 5090での実測では、拡散モデルの中間表現で6.1倍のロスレス圧縮、LLMのKVキャッシュで2.7倍のロスレス圧縮を達成。PCAによる前処理でテンソルの構造を圧縮しやすい形に変換する点が工夫となっている。また、NVENCエンコードとCUDA計算を並列ストリームで実行することで、理論上限の67%のオーバーラップを実測した。

マルチGPU環境でのモデル分割推論や、ネットワーク越しの分散推論において大きな恩恵が期待できる。Apache 2.0ライセンスで公開されている。

Qwen3-TTSのOpenVINO実装がIntel GPUで音声合成を実現

RedditのLocalLLaMAコミュニティで、Qwen3-TTS（Qwenの音声合成モデル）をOpenVINO形式に変換し、Intel Arc GPUで動作させる実装がオープンソースで公開された。

開発者はPyTorchのnn.ModuleをOpenVINO IR形式に変換する過程で、データフローの分析とデバイス配置の最適化を徹底的に繰り返したという。特に、stateful KVキャッシュの扱いやカーネル融合の予測については、OpenVINOの公式ドキュメントが不十分で、AIツール（Opus 4.5含む）でも正しい判断が難しかったと述べている。

現在は1.7Bモデルのみ対応しており、CPUとGPU（Intel Arc）で動作確認済み。NPU対応は今後の課題とのこと。

Sato：macOS向けマルチプロバイダー対応AIデスクトップコンパニオン

Hacker Newsで、macOS向けのAIデスクトップアシスタント「Sato」が紹介された。複数のAIプロバイダーに対応し、デスクトップ上で手軽にAIアシスタントを利用できることを特徴としている。

詳細な機能はまだ公開されていない部分も多いが、ローカルでのAI利用を日常的に手軽にするツールとして注目できる。