8月19日のAIニュースからは、モデルの「強さ」の源泉がどこにあるのかを問い直す話題が並んだ。Z.aiは新モデル「GLM-5.3」を、ベースモデルのパラメータを増やさずポストトレーニングのスケーリングだけで強化して公開した。一方のハードウェア側ではメモリ価格の異常な高騰が続き、DRAMチップは重量あたりで金の半分以上の価値になっているという報道もある。国内からはNIIのオープンLLM新バージョンと、AIの反論が道徳的判断に与える影響を調べた神戸大学の研究を取り上げる。

GLM-5.3は「同じパラメータ」で強くなった

Z.aiは、コーディングやサイバーセキュリティ、長期タスクのエージェント用途向けに新モデル「GLM-5.3」をAPI経由で提供開始した。価格は前バージョンのGLM-5.2と同じで、総パラメータ753B・活性パラメータ40BのMoE構造、100万トークンのコンテキストといった基本構成もGLM-5.2から変わっていない。重みは後日MITライセンスで公開される見通しだ。

注目は、Z.aiの共同創業者である唐堂（Jie Tang）氏が公開したスケーリング則への考察だ。氏によれば、GLM-5.3は「同じベース、同じアーキテクチャ、同じ総パラメータ・活性パラメータ」という条件のまま、長期的な環境と強化学習に約1ヶ月を割いただけで向上を達成した、いわば制御実験にあたる。サードパーティ評価では、Artificial AnalysisのIntelligence IndexでKimi K3と並ぶ60に達し、GDPval-AA v2では246ポイント上昇の1770 Eloを記録したと伝えられる。

考察の骨子は「スケーリングには複数のダイアルがある」という整理だ。パラメータをデータより速く増やすべきだとしたKaplanらの則を業界はGPT-3以降踏襲したが、HoffmannらのChinchilla研究が約400モデルの再実験で「トークン数とパラメータは同程度の比率で伸ばすべき」ことを示して方針は転換した。推論コストがモデルの生涯コストを支配するようになれば最適解は「小さめのモデルを長く訓練する」側へ移動し、MoEでは総パラメータが知識の保持を、活性パラメータと実効深さが推論の到達距離を支配する──と歴史を振り返ったうえで、「総パラメータは世界を保持できる閾値まで意味があり、それ以降の能力は別の場所、とりわけポストトレーニングから来る」と結論づけている。次回はミッドトレーニングや事前訓練のダイアルを回す可能性にも言及しており、パラメータ数一辺倒のモデル競争が転換点を迎えつつあることを示すデータとして注目される。

メモリ価格、12ヶ月で5倍の異常事態

Latent SpaceのAIニュースダイジェストが伝えたのは、メモリ価格の高騰が止まらないという話題だ。Tom's Hardwareの報道によると、128GBのDDR5メモリキットの価格は、観測史上最安値の10倍に達している。12ヶ月で5倍という上昇は「RAMageddon」とも呼ばれ、ムーアの法則がメモリでは逆向きに作用している、つまり単価が2007年ごろの水準まで戻ったという指摘もある。

背景にあるのはAIデータセンターの需要だ。ハイパースケーラーと呼ばれる巨大事業者は、報道によれば2027年の全世界のDRAM生産能力のほぼすべてを前払いの保証金で確保済みとされ、DRAMチップは重量あたりの価値で固体金の半分以上に達しているという。モデルの性能向上がポストトレーニングへ移るいっぽうで、推論基盤の物理的なコストが急騰している。GPUだけでなくメモリも含めた調達コストが、今後のAIインフラの競争条件を左右し始めていると言えそうだ。

国産オープンLLM「LLM-jp-4 33B」が公開

国立情報学研究所（NII）は、オープンな国産大規模言語モデルの新バージョン「LLM-jp-4 33B」を公開した。約332億パラメータのDense型モデルで、公開された4種類のベンチマークすべてで従来モデルを上回るスコアを記録したという。日本語の利用場面を前提にしたオープンモデルの選択肢が増える意味で、国内の開発者にとって押さえておきたいリリースだ。

ChatGPTの反論で道徳的判断の3割超が覆る──神戸大学

神戸大学は、ChatGPTを利用して「AIの反論が、正解のない道徳問題への回答に与える影響」を調べた研究結果を発表した。それによると、生成AIの反論によって道徳的な判断の3割超が覆ったという。特に高齢者は説得されやすい傾向が見られた。正解のない問題への説得という形でAIが人の判断を動かす力を持つことを示すデータで、AIの活用が広がるなかで、誰がどの程度の影響を受けやすいかを理解しておく重要性を示唆する内容だ。

エージェントの「スキル」はなぜ効き、どこで壊れるか

Hugging FaceのDaily Papersには、LLMエージェントを推論時に強化する「スキル」の仕組みを解体した論文が掲載された。スキルは知識を構造化してパッケージしたもので、エージェントの成功率を高める手法だが、従来の評価は成功率の合計しか見ておらず、「いつ・なぜ・どこで壊れるか」は十分調べられてこなかった。

研究チームは8,135件の試行記録を正規化し、オープンコーディングによる分析を組み合わせて、スキルが効く理由の65.7%は「手続き的なアンカー」として実行を安定化させる効果で、明示的な知識の注入は4.5%にすぎないことを突き止めた。つまりスキルの本質は「足りない知識を補う」ことより「実行の手順を安定させる」ことにあるという。一方で、スキルプールが5件から100件に増えると実際に使う精度は29.6%から3.3%まで落ちており、検索はスキルとは別のボトルネックだとされる。壊れ方も「前提が脆い」「文脈と非互換」「適応不足」の3系統に分類された。エージェント実装の設計指針として実用的な知見が並ぶ。