ビッグテックのAIデータセンター投資、3500億ドルの債務膨張

LA Timesの報道によると、ビッグテック各社はAIデータセンーレースを勝ち抜くために巨額の借入を重ねており、その合計はすでに3500億ドル（約52兆円）に達しています。Microsoft、Google、Meta、Amazonといった企業がこぞって債務を積み上げており、AIインフラへの投資が財務体質に影響を及ぼし始めています。

これと関連して、BloombergはAIブームを支える「循環取引（circular deals）」の実態を詳しく分析しています。AIスタートアップへの投資が、クラウドサービスの契約という形で再びビッグテックに還流する構造が広がっており、投資と売上の境界が曖昧になりつつあると指摘しています。

さらにAxiosは、AIブームの拡大に伴いビッグテックの透明性が問われていると報じています。特に電力消費と水使用量に関するデータ開示が不十分で、環境影響を正確に把握することが難しくなっているとのことです。

いずれの記事も、AI競争の裏側で持続可能性とガバナンスの課題が膨らんでいることを示しており、今後は規制や投資家からの圧力が強まる可能性があります。

コミュニティ発：Gemmaモデルのレイヤー拡張に成功「extGemma4」

RedditのLocalLLaMAコミュニティで、extGemma4-40_5Bという興味深いプロジェクトが発表されました。Gemma 4 31Bファインチューニングモデルにレイヤーを追加して容量を拡張する取り組みで、前回の失敗を教訓に再挑戦し、成功を収めています。

鍵となったのは新しいレイヤーの初期化方法です。従来は新規レイヤーを「何もしない」（パススルー）状態で挿入してから学習させる手法が一般的でしたが、これだと勾配信号が伝わらず学習が進まないという問題がありました。そこで今回は、隣接レイヤーの出力のブレンドで初期化することで、最初から「何かしらの処理」を行う状態にし、即座にフィードバックを受け取れるようにしたとのことです。

また、レイヤーの挿入位置の選択や、モデル内部の「ボリューム」設定（normalizationパラメータ）をいじらないことも重要だったと述べています。

検証では、物理学・生物学・歴史・哲学など10分野で元モデルと比較し、9分野で同等、1分野（物理学の相対論的エネルギー計算）では拡張モデルが元モデルを上回る結果を出しました。ファインチューニング済みモデルに手術的に容量を追加しても崩壊しないことを示した実験として、コミュニティでも注目を集めています。

NVIDIA、JAXベースLLM学習でのHBMボトルネック緩和手法を公開

NVIDIAのデベロッパーブログで、JAXを使ったLLM学習におけるHBM（高帯域幅メモリ）のボトルネックを軽減するホストオフロード手法が紹介されました。

大規模モデルの学習ではGPU上のHBM容量が制約となりやすく、ホストメモリにデータを退避させることで学習の安定性とスループットを向上させることができるとしています。実践的な最適化手法として、JAXを使用するチームにとって参考になる内容です。

Intel Core Ultra 285HXでローカルLLMを動かす — CPU/iGPUのベンチマーク結果

同じくReddit LocalLLaMAで、MS-02（Intel Core Ultra 285HX、64GB RAM）というミニPC環境でローカルLLMを動かしたベンチマーク結果が共有されました。

Qwen3-30B、Qwen3.6-35B、Gemma 4 26BをVulkan、SYCL、CPU-onlyの3バックエンドで比較したところ、意外にもCPU-onlyが最速という結果が出ています。例えばQwen3.6-35B（IQ4_XS）はCPU-onlyで14 tk/s、SYCLで12 tk/s、Vulkanでは0.5 tk/sでした。

投稿者は「VulkanがSYCLより速いという情報が多かったが、新しいARCベースのiGPUでは逆転している」と指摘しており、Intel新世代iGPUでの最適設定はまだコミュニティでも摸索が続いているようです。QwenモデルはCPU-onlyで十分実用的な速度が出ており、GPUなしのローカルLLM環境の選択肢として有望です。