9月18日はLLMインフラまわりのニュースが目立った。AWSはGPUの内部状態を見ながら推論リクエストを振り分ける「Amazon SageMaker HyperPod Inference Gateway」を発表し、初回トークン遅延の最大82%削減をうたう。中国では設立7カ月で評価額14億ドルに達したステルスLLM新興「Naive AI」の実態が報じられ、AIデータセンターの電力需要に対しては20億ドル規模の小型蓄電池投資が動き出した。ローカルLLMコミュニティでは768GB VRAMの自作リグが話題だ。

AWSのGPUアウェア推論ゲートウェイ──初回トークン遅延を最大82%削減

AWSの発表によると、SageMaker HyperPod Inference GatewayはKubernetesネイティブかつGPUアウェアなルーティングシステムで、Amazon EKS上のHyperPodにマネージドアドオンとして導入できる。リアルタイムのGPUシグナルを利用して各推論リクエストを最適なポッドへ配送し、モデルサーバーもクライアントアプリケーションも変更せずに初回トークン遅延（first-token latency）を最大82%削減できるという。

背景にあるのは、Kubernetes標準のロードバランサがGPUの内部状態を見られないという問題だ。ラウンドロビンや最小接続のアルゴリズムは、どのポッドのKVキャッシュが飽和に近いか、どのポッドが長いコンテキストの生成途中か、どのポッドがリクエストに必要なLoRAアダプタをすでにメモリに載せているかを把握しない。その結果、リクエストは忙しいポッドの後ろに積み上がり、空いているGPU容量が放置される。トラフィックが集中すると初回トークンに4秒以上かかるケースもあり、余裕を見込んだ過剰プロビジョニングを誘発する。

ゲートウェイは2層構成をとる。第1層はクラスタごとに動くEKSアドオンで、Envoy Gateway（L7プロキシ）、Body-Based Router（OpenAI互換リクエストのmodelフィールドを読んでモデルプールへ振り分け）、Endpoint Picker（各ポッドのPrometheusメトリクスをもとに重み付きでスコアリング）の3コンポーネントで成る。Endpoint Pickerの評価軸はKVキャッシュ利用率、キューの滞積、LoRAアダプタの常駐、プロンプト接頭辞のキャッシュヒット率、実行中リクエスト数で、重みは設定で調整できる。チャットボットのユーザーが4.4秒待っていた最初のトークンを800ミリ秒未満で受け取れるようになった例が紹介されている。

ベンチマークでは、8B〜235Bパラメータの4モデルをH100（p5.48xlarge）とA10G（g5）で動かし、Kubernetesのラウンドロビン基準と比較した。GPU世代が混在するフリートでは初回トークン遅延のP95が97〜98%減、バースト性のトラフィックでは94〜98%減、スループットも条件によっては50%向上した。一方、ハードウェアが均質でトラフィックが安定している場合はラウンドロビンと同等にとどまる。「フリートが均質から離れるほど効果が大きくなる」構造で、本番トラフィックが実際に作り出す条件——ハードウェアの混在、突発的な需要、共通するプロンプト接頭辞——で効く設計といえる。

導入はアドオンのインストールとInferenceGatewayConfigカスタムリソースの適用だけで完了し、エンドポイントはOpenAI互換。複数モデルの同居ルーティングや、LoRAアダプタが常駐するポッドを優先する振り分けにも対応する。クラスタ・リージョンをまたいだフェイルオーバーなどを担う第2層「Global Inference Router」は今後の提供予定とされている。

中国のステルス新興「Naive AI」──7カ月で14億ドル評価、初モデルはオープンウェイト

中国のAI新興Naive AIが、3回の資金調達で計4億ドルを集め、評価額は14億ドル超（ポストマネー14.2億ドル）に達したことがThe Informationの報道で明らかになった。投資家にはTencent、IDG Capital、Matrix Partners China、Sequoia Chinaが名を連ねる。清華大学教授のDai Jifeng氏が今年2月に創業した会社で、従業員は100人未満、7カ月以上にわたって低調に活動してきたという。

技術方針も特徴的だ。同社はスクラッチからの事前学習という高コスト路線を採らず、既存の中国オープンウェイトモデルのアーキテクチャを改造した上で、ミッドトレーニングやポストトレーニング、強化学習を重ねて性能を伸ばす戦略とされる。ベースにどのモデルを使っているかは確認されていない。加えて、モデルが自らを反復的に改良する「再帰的自己改善（recursive self-improvement）」の研究にも取り組んでいるという。

同社は初の大規模言語モデル「Naive」を、早ければ今月中にもオープンウェイトモデルとして公開する方針とされる。ゼロスクラッチ事前学習のアプローチがどこまで通用するかは未知数だが、中国発オープンウェイトモデルの競争に新しいタイプの参入者が加わる可能性がある。

AIの電力需要に20億ドルの蓄電池──EQT系がデータセンター接続を加速

AIデータセンターの急増で電力網との接続待ちが課題になる中、EQT Infrastructureが20億ドル規模の小型蓄電池への投資を支えることが報じられた。傘下の分散電力開発会社Madison Energy Infrastructureが2028年までに1ギガワットの容量を追加する計画で、まず米国最大の電力網PJM Interconnection（13州）から着手する。

設置するのは4時間放電できる蓄電池で、下水処理場を含む産業・商業施設に導入する。狙いは二段構えだ。施設側に蓄電池を置いて産業消費者の電力コストを下げつつ、AIデータセンターを電力網へより早く接続できるようにする。計画についてはMadisonのCEO Richard Walsh氏がインタビューで語った。

生成AIの電力需要は発電所の新設ペースを上回る勢いで増えており、大規模な送電増強を待たずに分散型の蓄電で「つなぎ」を作る発想は、今後のデータセンター立地を左右する要素になりそうだ。

RTX 6000 Pro 1枚分の値段で768GB VRAM──ローカルLLM自作の新たな最適解

RedditのLocalLLaMAコミュニティでは、12枚のCMP170hx（各64GB）で768GB VRAMを実現した自作リグが注目を集めている。投稿者によれば、コストはRTX 6000 Pro 1枚より安いという。CMP170hxはマイニングブーム期に流通した格安の中古カードで、LLM用途ではVRAM容量あたりのコストが破格になる。さらに別のリグと光ファイバーでRPC接続し、必要に応じてメモリを拡張できる構成だ。

このリグではGLM5.3、DeepSeek v4.1 Flash、Qwen3.8 Flash、Qwen3.8-2.4T、Kimi K3、MiniMax M3などが動いている。投稿者は「単一のRTX 6000やM3 Mac Studioが到達できない性能」と主張し、推論はvLLMとllama.cppの双方で可能としている。電気代や騒音、APIのほうが安いといった定番の反論については、投稿者自身が織り込み済みというスタンスだ。

ローカルLLM自作は、RTX 3090複数枚による64GB VRAM構成などがこれまでの定番だった。中国発の巨大モデルが次々と公開される状況では、「モデルのサイズに合わせてVRAMを積む」という予算重視の選択肢がまた一段と広がった形だ。

日本語圏では──Claude Code公式プラグインの「採算表」がQiitaに

国内開発者の間では、Claude Codeの公式マーケットプレイスからプラグイン4本を導入し、同じ日に2本を外した実測記事がQiitaに公開された。導入したのはpyright-lsp、typescript-lsp、security-guidance（v2.0.8）、hookifyの4本。「検査器の採算表」として、何を捕まえ、何を払ったかを記録する視点で書かれている。

Claude Codeはプラグインやスキルで機能を拡張できるが、何を入れるかは各現場の判断に委ねられている。公式配布であっても、検出とコストの両面から採算を記録していくこの種の実測は、ほかの現場の導入判断にも参考になりそうだ。