企業がAI利用に「配給制」を導入し始めた理由

ウォール・ストリート・ジャーナルの報道によると、米国企業の間でAI利用に対する「配給制（rationing）」が始まっている。急騰するAIコストに対応するため、企業は従業員あたりのAI利用量を制限したり、特定部署に優先的にリソースを割り当てたりする対応を迫られている。

この報道を補強するデータとして、CodeSceneの分析記事が興味深い知見を示している。コードの品質が低い（「不健康な」）プロジェクトでは、AIエージェントが35〜50%も余分にトークンを消費するという。複雑で読みにくいコードを理解しようとAIが試行錯誤を繰り返す結果、推論コストが膨れ上がる構造だ。AI導入を進める企業にとって、技術的負債の解消が単なる開発効率の問題ではなく、直接コスト削減につながるという新たな視点を提示している。

AMD MI300Xでモノカーネル推論が3,300 tokens/sに到達

Reddit r/MachineLearningで注目を集めた開発者チームが、AMD MI300X上でLLM推論のフルデコードシーケンスを単一GPU常駐プログラムとして実行する「モノカーネル」を構築した。

特徴的なのは、MI300Xのダイ物理トポロジーを活用した最適化だ。メモリアクセスパターンを物理レイアウトにマッピングし、計算ユニットを関連するIODごとにグループ化することで、ハードウェアの設計性能をフルに引き出している。8基のMI300Xでバッチサイズ1、推測デコードなし、量子化なしの条件で最大3,300 tokens/sを達成した。

現状は2Bの小規模コーディングモデルでのプレビューだが、今後フロントエアMoEモデルへの対応も計画されている。NVIDIA依存からの脱却を目指すAIインフラにおいて、AMDの存在感が高まっている。

llama.cppがf16マスクでFlash AttentionのVRAMを節約

ローカルLLMコミュニティにとって嬉しい改善がllama.cppに入った。Flash Attention（FA）用のマスクをf16精度で保持するPRがマージされ、従来よりもVRAM消費を削減できるようになった。

3090などのVRAMが限られたGPU環境で、より大きなモデルやコンテキスト長を扱えるようになる実用的な改善だ。「これでまた大きなモデルをダウンロードできる」という声がコミュニティから上がっている。

AIエージェントの権限管理が「動く」と「安全」の間で模索される

ScaleXのブログ記事が、AIエージェントの権限管理について課題を整理している。「動作する」状態と「安全な」状態の間には大きなギャップがあり、このミッシングレイヤーをどう設計するかが、エージェント型AIの実用化に向けた鍵になりそうだ。

FreeBSDがAIコード監査を受ける

FreeBSDのソースコードに対してAIベースの監査が実施され、その結果がブログで公開された。OSSプロジェクトへのAI活用事例として、静的解析ツールとは異なるアプローチでセキュリティ脆弱性を検出できる可能性を示している。