ソフトバンクがフランスに最大750億ユーロ投資、5GWのデータセンター容量を目指す
ソフトバンクがフランスにおけるデータセンター開発に最大750億ユーロ(約12兆円)を投資する計画を発表した。目標は最大5ギガワットの追加データセンター容量の開発・運用で、AIインフラ需要の急増に対応する。欧州におけるAIインフラ競争がさらに激化する見通しだ。
Thaw — LLMの推論セッションを「git branch」のようにフォーク
Hacker Newsで「Thaw」というオープンソースプロジェクトが注目を集めている。LLMエージェントが複数の分岐(RLロールアウト、best-of-N、並列コーディングなど)を試す際、従来は各分岐で同じプロンプトのprefillを繰り返すため無駄な計算コストが発生していた。
Thawは、実行中の推論セッション(ウェイト、KVキャッシュ、スケジューラ状態、プレフィックスハッシュテーブル)をスナップショットし、N個の子プロセスがフォークポイントからprefillなしで分岐できるようにする。LLMにおける「git branch」のようなものだ。
H100 80GB + Llama-3.1-8Bでの実測値では、ウォームプールの起動は22.3秒、その後4ブランチ×64トークンのフォークラウンドが中央値0.88秒で実行される。コールドブートと比較して約400倍の高速化を達成しているという。
vLLMとSGLangに対応し、Apache-2.0ライセンスで公開されている。
$6,400のローカルLLMサーバー、APIと比較して本当にお得なのか
RedditのLocalLLaMAコミュニティで、約6,400ドル(約95万円)で構築したローカルLLMサーバーの詳細なコスト分析が話題になっている。
ハードウェア構成
- 中古AMD MI100 32GB ×4枚:$4,234
- ASRock EPYCD8-2T マザーボード:$721
- 1600W 80+ Platinum電源:$497
- その他(CPU、メモリ、ケース等)
このサーバーでQwen3.6 27Bを4インスタンス同時稼働させている。
1日あたりの処理能力
- 入力トークン:2,040万/日
- 出力トークン:132万/日
コスト比較(年間)
| 項目 | 年間コスト |
|---|---|
| API(OpenRouter同等) | $3,701 |
| ローカル1年目(電気+減価償却) | $2,992 |
| ローカル2年目以降(電気のみ) | $770 |
1年目ですでにAPI比で$708の節約になり、2年目以降は年間$2,930以上の節約になる計算だ。ただし投稿者は「MI100は稀なGPUで最適化が不十分」としており、R9700やApple Siliconなどの統合メモリ構成の方が扱いやすいと指摘している。
RTX 5060 Ti / 5070 Ti クリアランス価格が登場
同じくRedditで、Best Buyの店舗限定クリアランスでRTX 5060 Ti 16GBが$300.99、RTX 5070 Ti 16GBが$699.99で入手可能との報告が上がっている。通常価格から大幅な値下げで、ローカルAI環境の構築を検討している人にとっては注目すべき価格帯だ。全店舗で同じ価格ではないため、実際の価格は店舗ごとの確認が必要になる。
Sources: