ローカル環境で超巨大なモデルをどう動かすか――8月2日にコミュニティで目を引いたのは、そうした「極限の推論実験」の報告が相次いだことです。一方で、DeepSeekの低価格モデルが引き起こす価格競争や、ビッグテックのAI投資の評価をめぐる議論も浮上しています。

1.56TBのKimi K3を、CPUとRAM 8GBで動かす実験

RedditのLocalLLaMAコミュニティに、チェックポイント1.56TBのMoEモデル「Kimi K3」を、GPUを使わずにCPUと8GBのRAMだけで動かす試みが投稿されました。投稿者はC99で推論エンジンを自作し、BLASもGPUパスも使わない、わずか6ファイル・176KBのバイナリで実行しています。

鍵はアーキテクチャの特性を活かした設計です。Kimi K3のチェックポイントの93%は「ルーテッドエキスパート」で、1トークンあたり896個のうち16個しか発火しません。そこでエキスパートはRAMに常駐させず、NVMeからオンデマンドで読み出し、4bitにパックされた状態のまま乗算しています。非量子化のステップを省くのがポイントです。

結果は、最小プリセットでピークRSS 8.24GB、1トークンあたり約33秒。RAMを約128GB割り当てると約20秒/トークンまで短縮され、そこが限界だったといいます。投稿者自身「これはK3を実用的に使う方法ではない」と繰り返しており、目的はアーキテクチャを「実装を通じて理解する」ことにあります。チェックポイント用に1.7TBのディスクが必要で、実用的な速度とは程遠いものの、MoEの構造を計算グラフにどう落とし込むかを示す教材として興味深い内容です。

DeepSeek-V4-Flash-0731のローカル実測、batch size調整で大きく改善

同じくLocalLLaMAで、DeepSeek-V4-Flash-0731（0731版）をローカルで動かしたスペック報告が寄せられました。環境はAMD EPYC 74F3（24コア）、8チャネル3200 DDR4、RTX A6000 48GB。推論速度は安定して約17.2トークン/秒で、48GBのVRAMがあれば理論上は100万トークンまでのコンテキストを保持可能としています（ただしプロンプト処理の速度は悪化する見込み）。

注目はチューニングの成果です。batch sizeを8096に設定したところ、プロンプト処理（PP）が開始時に400トークン/秒近くまで跳ね上がり、コンテキスト2万時点でも約300トークン/秒を維持したとのこと。デフォルトの約70トークン/秒から大きく改善したといい、ローカル運用ではbatch sizeの見直しが効く場面があることがわかります。

DeepSeek-V4-Flashのローカル実測自体は直近でも報告されており、今回は別ユーザーによる異なるハード構成での検証と、batch size調整という新たな知見が加わった形です。

Kroma: Krea 2向けLoRAと、ComfyUIの「.diff」重みフォーマット

Hugging Faceのトレンドに、画像生成モデル「Krea 2」向けのLoRA「Kroma v0.1」が上がっています。1つのComfyUI互換safetensorsファイル（約1.88GB）にまとめられ、rank 256 / alpha 256にランク縮約されています。

技術的に面白いのは重みの持ち方です。通常の「純粋な」LoRAだけでなく、学習されたRMSNormのスケールとモジュレーションテンソルを「.diff」として重みデルタとして同梱しており、ComfyUIのLoraLoaderがこれらを自動的に適用します。strength 1.0で元のファインチューンを正確に再現し、効果を弱めたい場合は0.7〜0.9に下げるのが推奨されています。Krea 2のbaseとTurbo両方で動作し、Turbo側はステップ8・CFG約0で高速化できるとのことです。

モデルのコモディティ化と、DeepSeekが煽る価格競争

コミュニティで話題を集めたのが、Axiosの「AI Models as Commodities（AIモデルはコモディティとなるか）」という記事です。DeepSeekの低価格モデルをめぐるAIの価格戦争を扱った内容とみられますが、配信元の本文は収集データに含まれていないため詳細は控えます。それでも、DeepSeekの低コストモデルが各社の価格設定を下押しし、モデルの差別化よりもコスト競争が前面に出る「コモディティ化」の議論が活発になっている状況はうかがえます。

同じ流れで、Futurismが「MetaにはAIで見せるべきものがほぼ何もない」と報じた一方で、数字は別のことを示しているとする反論も注目を集めました。巨大な資本を投じるビッグテックのAI投資の成果をどう評価するかは、引き続き見方が割れそうです。

AIと著作権・評価をめぐる小さな論点

Hacker Newsでは「Don't credit the LLM（LLMにクレジットを与えるな）」という題の記事も話題になりました。生成物におけるLLMの貢献を、著作権上のクレジットとしてどう扱うかを問う内容とみられますが、こちらも配信元本文は収集されていないため、筆者の立場の詳細は断定できません。生成AIの著作権扱いは訴訟や判例が相次ぐ領域だけに、こうした意見がどこまで広がるかは要観察です。