8月16日のAIニュースまとめ。ローカルLLM界隈を中心に、モデルの内部構造に手を入れる研究ビルド、Apple Silicon推論の基盤ソフトの現状、Qwen3.8-27Bの実運用レポートという、いつもより「重い」トピックが並んだ。

「拒絶方向」を除去したQwen3.8-27B研究ビルドが詳細な測定付きで公開

Hugging Faceのトレンドに、Qwen3.8-27Bから安全上の拒絶反応を除去したビルド「Qwen3.8-27B-Uncensored-FP8」が登場した。手法はabliteration(拒絶除去)と呼ばれるもので、「LLMの拒絶は単一方向で媒介される」(Arditi et al., 2024)という知見に基づき、38層目で推定した拒絶方向を、残差ストリームに書き込む計131個の行列(attentionのo_proj、線形注意のout_proj、MLPのdown_proj、埋め込み層)から直交化して除外する。その後、公式FP8チェックポイントと同一の128×128ブロックFP8構成で量子化し直しており、vLLMは公式チェックポイントと同じカーネル経路でこのビルドをserveできる。262kコンテキスト、ビジョンタワー、MTPスペキュラーデコードヘッドもそのまま保持されている。

注目は測定結果の細かさだ。有害プロンプトへの拒絶率はベースFP8の64〜99%から0〜6%に低下し、thinkingモードを有効にすると1.7%以下になる。一方で良性プロンプトへの過剰拒絶(XSTest)も5.6%から0.4%へ減り、MMLUは84.3%から84.7%に微増、GSM8Kで−1.3点と、汎用能力はほぼ完全に維持された。FP8の量子化コードは公式チェックポイントと99.9%一致しているため、この差分はほぼabliteration編集そのものの影響とみられる。

「拒絶は取り除けるが能力は落ちない」という結果は両刃の知見だ。拒絶というガードレールがいかに薄い層で実装されているかを示すと同時に、その除去が誰にでも再現可能になりつつある現実も浮き彗りにする。配布者自身も「正当な研究用途(解釈可能性・AI安全性・レッドチーミング)に厳格に限定する」と明記し、公開環境での利用には独自の安全・モデレーション層が必須と但し書きしている。なお拒絶率の測定はルールベース分類器による参考値で、論文品質の評価ではない点には留意したい。

Apple Silicon推論はなぜガタガタなのか — 2週間かけて検証した手書きレポート

Reddit LocalLLaMAに、Apple Silicon上のLLM推論最適化の現状を2週間フルタイムで調べたという手書きの長文レポートが投稿された。結論は「ソフトウェアスタックが散らかり放題」だ。prefix caching、スペキュラーデコード、ページドKVキャッシュ、連続バッチング、flash attention——CUDA/NVIDIAでは既に成熟しているこうした最適化が、Apple Siliconではmlx-lm、vllm-metal、各種フォーク、独自変換モデルに断片化したまま、どれも一部しか実装していないという。

特に重いのは、今多くの人が動かしたがっているQwen3.6/3.8系がハイブリッドアーキテクチャ(Gated DeltaNetの回帰状態+通常のKVキャッシュ)を採用している点だ。回帰状態はトークンを処理するたびに前の状態を上書きするため、プレフィックスキャッシュとの組み合わせが根本的に難しくなる。さらにmlx-lmのモデル変換は、Qwenが内蔵するMTPヘッド(モデル自体に組み込まれたスペキュラーデコード用ヘッド)を変換時に静かに削除してしまうという。MTP対応のPRは数ヶ月間マージされないまま放置されていると投稿は指摘する。

現時点で最も完成度が高いのはvllm-metalで、直近1週間でハイブリッドモデルへのprefix caching対応が入った。ただしprefix cachingとスペキュラーデコードは排他で、どちらか一方しか選べない。実際のエージェント用途では、prefix cachingがまともに働かないとベンチマークで45トークン/秒が出ても長いセッションでは9トークン/秒まで落ちる、という体験も添えられている。投稿者の主張は「また新しいフレームワークを作るのをやめて、残った1〜2プロジェクトに集中してパッチを上げるべき」——Apple SiliconでローカルLLMを動かしている人には一読の価値があるまとめだ。

Qwen3.8-27Bのエージェント実力と「xhigh」思考の代償

同じくRedditで、Qwen3.8-27Bを実際のタスクで回した2つの実測レポートが注目されている。

1つはBASICグラフィックスデモをLLMエージェントで再現する検証。BASIC→JavaScriptトランスパイラ付きのハーネスで、モデルがBASICプログラムを書き、実行し、生成画像を確認して反復する構成だ。銅・銀・金の金属球をCook-Torranceモデルで描く再帰レイトレーサーの生成をQwen3.6-27Bと3.8-27Bで比較したところ、3.6は自分では気付けないミスを残しがちで追加の指示が必要だったのに対し、3.8は概ね自力で満足できる結果まで反復できたという。どちらもunslothのUD-Q8_K_XL量子化で比較されている。

もう1つはRTX 5060 Ti環境での運用報告。unslothのNVFP4量子化をvLLMで動かし、reasoning_effortを「xhigh」に設定して、ホラー調査ゲーム(HTMLのメトロイドヴァニア風)を1つのプロンプトから作らせたところ、計画だけで約86kトークン、完了までに合計183,670トークンを消費した。別のWebページ生成でも140kトークンに達しており、投稿者は「xhighを使うなら200kトークン以上の余裕を用意すべき」と助言している。「3.8は思考が長すぎる」という声の実態が、トークン消費として定量的に示された形だ。

ツール結果待ちの「空転」を埋めるSPORK

Qiitaに公開された解説記事によると、エージェントの推論ループ(思考→行動→観測)は基本的に直列で、ツールの実行結果が返ってくるまでGPUはただ待機している。この待ち時間こそが体感的に一番もったいない、という指摘とともに、推論中に次のツール呼び出しを先読みして発行し、空転を埋める手法「SPORK」が紹介されている。エージェント実行のスループット改善に直結するアプローチで、仕組みの詳細は元記事で丁寧に解説されている。

国内: Microsoftの対日投資1.6兆円をめぐる議論

国内トピックとして、「Microsoft対日1.6兆円！『日本はAI後進国』を覆すデータ」と題する動画解説記事がQiitaに公開されている。巨額の対日投資のデータから「日本はAI後進国」という言説を検証する切り口で、日本のAI開発環境をめぐる議論の材料になりそうだ。