DeepSeek V4 Flash、自力でGPUカーネルを書いてKimi K3を実行

RedditのLocalLLaMAコミュニティで、DeepSeek V4 Flash(通称DS4)の量子化モデル「ds4-flash 0731 UD-IQ2_M」が、自力でGPUカーネルを記述したという報告が話題を呼んでいます。

報告者によると、Mac Studio(512GB)上でUnslothのKimi K3量子化モデル(IQ1_0)を動かそうとした際、GitHub上に適合するMetalカーネルが見つからなかったため、DS4にカーネルの自作を任せたとのこと。モデルは約50分でカスタムMetalカーネルを書き上げ、CPU実行より大幅に速い「デコード約4トークン/秒、プリフィル約20トークン/秒」を達成しました。

性能は報告者自身「控えめだがCPUよりはるかに良い」という評価で、「4ビットのGLM 5.2の方がまだ優れるが、90GBのファイルでここまで肉薄するのは驚き」とも述べており、量子化モデルの到達点をうかがわせます。

ポイントは、モデルが単にコード断片を出力しただけでなく、存在しないカーネルを探し、実装し、動く形に仕上げるまでを自走した点です。Kimi K3のローカル実行はここ数日も話題になっていますが、今回は「推論モデル自身が環境を整える」という新たな側面が見える興味深い事例です(数値や妥当性は現時点では報告者ベースであり、検証はこれからでしょう)。

96GB版「RTX 5090」がAlibabaに流出か

同じくLocalLLaMAで、Alibaba上に「RTX 5090 96GB」のリストが見つかったとの書き込みが出ました。

現時点では製品の存在は未確認で、画像や仕様の信ぴょう性も含めて噂の域を出ません。ただ、ローカルLLMの実行ではVRAM容量が最大の壁の一つであり、もし消費者向け/プロ向けで96GBの変種が存在すれば、単一GPUで巨大モデルを動かせる可能性が出てきます。

NVIDIAがこのような構成を正式に投入するのか、それともカスタム品・改造品なのかは不明です。確定情報が出るまでは、あくまで「目撃情報の一つ」として注視するのが無難そうです。

LLMの"指紋"で派生モデルを判定:Model Genome

Hugging Faceで「Model Genome」と題した技術解説が公開されました。

内容は、あるLLMがゼロから訓練されたのか、それとも別のモデルをベースに派生(ファインチューニングや蒸留など)したのかを、まるで「ゲノム(指紋)」のように判定する手法を探ったものです。

モデルの系譜を技術的に判定できれば、無断の派生やライセンス違反の疑いがあるモデルを特定しやすくなります。オープンモデルの健全なエコシステムを支える手段にもなりそうで、研究段階ながら要注目のアプローチです(手法の詳細は原典を参照してください)。

「superpowers型」自律実行フレームワークの功罪

Qiitaで、Claude Codeなどのエージェントに長時間の自律実行をさせる方法論フレームワーク(代表例:obra/superpowers、brainstorm → plan → 実行、の流れ)に対する冷静な考察が公開されました。

筆者は**「丁寧に作られた間違いは捨てられない」**と指摘し、フレームワークがもたらす効率化の一方で、一度出来上がった精緻だが誤ったプロセスや前提が固定化しやすい危険性を論じています。エージェントの自律性を高めるハーネスや方法論の設計が、モデルそのものの選択以上に結果を左右する場面も増えているでしょう。

最近の議論でも「ハーネス選びがモデル選びを上回る」との指摘が相次いでおり、方法論そのものの検証が実用上の重要テーマになりつつあります。

AIガバナンスは「小さく始める」

同じくQiitaで、実務向けのAIガバナンス入門が公開されました。

生成AIの導入で難しいのは最初のデモではなく、その後の運用――誰が使い、何を入力し、どの出力を人が確認し、問題が起きたら誰に報告するのか――だと指摘されています。ここが曖昧なまま利用者だけ増えると、誤回答や情報漏えいに気づけなくなります。

AIガバナンスは「AIを止めるための規則」ではなく、使うための最低限の約束事として、小さなルールから始めて運用に組み込むアプローチが紹介されています。組織で生成AIを本格運用する際の現実的な参考になりそうです。