9月13日深夜のキャッチアップは、クラウドではなく手元のハードに向き合う話から始まる。ローカルLLM実践者がRTX 3090×3の64GB VRAM環境を組んでソフトウェア開発エージェントを日常使いする構築記がLocalLLaMAで注目を集め、規制を巡る報道の過熱を巡る反応も目を引いた。音楽生成ではElevenLabsがMusic v2.5を投入、検索エージェントではオープンウェイトのIrisが登場し、国内からはAIに変換候補を選ばせるIMEの実装記事と、ローカルから国内まで層の厚い一日だった。
RTX 3090×3で64GB VRAM──ローカルAIソフトウェア開発環境の構築記
RedditのLocalLLaMAに投稿された構築記は、職業エンジニアがローカルモデルへ移行した記録だ。投稿者は「OpenAIやAnthropicのモデルに置き換え不可能なサブスクリプションを持つことは、怪しい企業のツールなしには仕事ができない状態を自分で受け入れることだ」という信念を明かし、ストックのRTX 4080(16GB VRAM)では精度とコンテキスト幅が足りなくなったことを移行の理由に挙げる。
ハードウェアの苦労話が具体的だ。ケースは大型フルタワーのMeshify 2 XLを選び、3基目のGPUは垂直マウントアダプタを加工したうえで上部に吊るす形で搭載した。電源のCorsair HX1500i SHIFTは8pin系の合計が6までという制約があり、3x 8pin構成の3090を1枚Founders Editionに入れ替えている。3基目への接続は500〜600mmのPCIe 4.0ライザーで、PCIe 5の長尺ライザーは信号中継なしでは信頼性が疑わしいと指摘する。電力面でも両3090を300Wに制限するなど、慎重な設計が見て取れる。
ソフトウェアは自前コンパイルのllama.cppで、Qwen3.8-27BのQ8_0量子化版(MTP対応)を3GPUにレイヤー分割。262,144トークンのコンテキストを確保した状態でも10〜12GBのVRAMを予備として残し、CachyOS + KDEのデスクトップとして日常使用を両立させている。生成速度はコンテキストの消費に伴い44〜46トークン/秒から28〜30トークン/秒へ低下するという。ngram-modとdraft-MTPを併用するスペキュレーティブデコーディングなど、設定の詰め方も丁寧だ。
ワークフローへの姿勢も明確だ。退屈な中規模タスク、ドラフト作成、ドキュメント検索、レビュー、バグ修正案をエージェントに委任しつつ、「ソフトウェアを書いているのは依然として自分自身であり、AI生成の成果を無批判に受け入れていない」と線を引く。前回紹介した「ローカルLLMコミュニティは黄金時代のようだ」という空気や、Qwen 3.8-27Bへのローカルでの高い評価と符合する、実装レベルからの報告と言える。
NYTの一面がAI報道で埋まった──「減速」を具体的に思い描く難しさ
同じLocalLLaMAに「レトリックが本当に過熱してきた」という投稿が届いている。投稿者によれば、この日のニューヨーク・タイムズの一面は1本を除いてすべてAI関連(モデルは強力すぎる、危険すぎる、規制が必要)だったという。
投稿者はこれを「バブルの終わりに典型的な、ビジネスモデルの崩壊を防ぐための規制キャプチャーへの焦り」と読む。さらに実感として、来週は「フロンティアモデルからの離れ方」を相談する企業のアポイントで埋まっており、その中にはすぐに計画を立てるために自分を呼び寄せた顧客もいると明かす。きっかけの一つに「あの数学の問題を巡る論争」で経営層がクラウドモデルのデータプライバシーに怯えたことを挙げた。
この投稿は一個人の所感であり、NYTの紙面構成も転述に依る。ただ、直近ではOpenAIのIPO見送り表明、Amodei氏の「速度制限」提案、BBCの「業界スタッフは本気で怯えている」報道と減速・規制系のニュースが続き、その波が末端の実務者の予定表にまで届いている様子がうかがえる。
一方のHacker Newsでは「AIを『減速させる』とは具体的にどういうことか」というAsk HNが立っている。トークン価格の高騰、IPOの中止、バブル崩壊の連鎖、レイオフされた人々の職の行方、データセンターの建設中断、果ては業界の自己規律への信頼まで、減速が起きた場合の二次効果を思い描こうとする試みが並んだ。「減速」がスローガンとして語られがちな中、その中身を検討する材料的な価値がある。
ElevenLabs Music v2.5──約4.8万組のブラインドテストで旧版超え、訓練はライセンス済み楽曲のみ
The Decoderは、ElevenLabsがAI音楽生成モデル「Music v2.5」をアプリとAPIで提供開始したと報じている。約48,000組の比較ペアによるブラインドテストでは、リスナーは旧バージョンを上回って新しいv2.5を好む結果となった。料金は無料ティアとプロティアの選択制だ。
注目したいのは訓練データへの対応で、同社はこのモデルが「ライセンス済みの音楽のみ」で訓練されたと明言している。今週初めにSunoがライセンス済み楽曲の学習をうたうv6を投入したばかりで、音楽生成AIは「どこまでクリアなデータで訓練するか」を製品の柱にする段階に入ったとみられる。訴訟リスクを回避しつつ、商用利用への扉を開く戦略と言える。
AllSparkがオープンウェイト検索エージェント「Iris-mini / Iris-pro」──未学習タスクにも性能が波及
The Decoderのもう1本は、AllSparkチームがQwenモデルをベースに構築したオープンソースの検索エージェント「Iris-mini」と「Iris-pro」のリリースだ。それぞれのサイズクラスにおいて、オープンウェイトモデルとしてベンチマーク首位を獲得したとしている。
興味深いのは論文の主張で、訓練データとモデルが「訓練したことのないタスク」の性能向上にも効いたという。対象には一般的なツール利用や事務作業が含まれる。検索エージェントとして訓練したはずの能力が、エージェント全般の基礎体力に波及したという読み方だ。
フロンティアモデルの検索・エージェント機能がクローズドなAPIとして提供される中、オープンウェイト側から同等の機能に挑む動きが続いている。ライセンスや訓練レシピの詳細は今回の収集データでは確認できていないが、ローカル環境で検索エージェントを試す選択肢が増えた意味は小さくない。
Mozcの変換候補をAIに選ばせる──Qiitaの実装記事
国内からは「AIに変換候補を選ばせるIMEを作ってみた」というQiita記事が届いた。筆者は日本語入力の困りごとは変換そのものではなく、「文脈に合わない漢字が最初に出てくること」だと問題を設定し、オープンソースの日本語IME「Mozc」の使いやすさにAIの文章読解を組み合わせる実装を紹介している。同じ「はな」でも前の文脈によって「鼻」「花」など適切な候補が変わる例を挙げる切り口で、日本語話者なら誰もが体験したストレスを狙っている。
IMEは入力のすべてが通る経路だけに、推論のレイテンシとプライバシーの両立が本体の課題になりそうだ。実装の詳細と今後の展開は、続きの記事で確認したい。
