Gemma 4テクニカルレポート公開 — デンス/MoE両対応で推論思考モード搭載

GoogleがGemmaモデルファミリーの新世代「Gemma 4」のテクニカルレポートを公開しました。オープンウェイト（open-weight）のネイティブマルチモーダル言語モデルで、デンスおよびMixture-of-Experts（MoE）アーキテクチャを両方提供し、パラメータ数は2.3Bから31Bまでのラインナップとなります。

注目すべき点は以下の通りです：

  • 12Bモデルでエンコーダーフリー統合アーキテクチャを採用し、生のオーディオと画像パッチを直接入力可能
  • **思考モード（thinking mode）**を統合し、応答前に推論トレースを生成
  • 推論速度、メモリ、計算効率を改善する設計選択により、長文脈性能も向上
  • STEM、マルチモーダル、長文脈ベンチマークで大幅な性能向上を達成

Gemma 4は、より大きなフロンティアクラスのオープンモデルに匹敵する性能を人間評価で示しており、ローカル・エッジでのAI利用にとって有力な選択肢になりそうです。

Fable 5の波及 — 「これまでで最も重要なモデル発表」

Anthropicの「Claude Fable 5」が業界に与える影響が続いています。Latent SpaceはAINewsフィールドガイドで「世界で最も重要なモデル発表」と評し、サブスクリプション補助金終了前に人々がFable 5の限界を探り急いでいる状況を伝えています。

また、ITmedia AI+では「10年後、ITエンジニアの仕事はどうなる？」という問いでFable 5に実際に回答させ、他のAIモデルと比較する検証を行っています。Fable 5の性能を多角的に評価する動きがメディア全体で広がっています。

同時期にはGeneral IntuitionとShunyu Yaoの新モデル発表もあり、AIモデル競争がさらに激化しています。GPT-5.6 Sol Ultraのリリースも待たれる中、フロンティアモデル層の流動性が高まっています。

Qwen 3.6 27B、エージェントタスクで「完全に崩壊」 — コミュニティ報告

Redditのr/LocalLLaMAで、Qwen 3.6 27Bがエージェントワークで重大な問題を抱えるという報告が注目を集めています。

投稿者はQwen 3.5 122B（4bit/5bit）を長期間使用した経験をもとに、3.6 27Bを8bit/16bitで運用してみたところ、単発プロンプトでは非常に印象的な出力（長文生成やHTMLデモなど）を produce するものの、エージェントワークでは継続的にミスを犯し、指示に従わなくなると指摘しています。「4ターンに1回くらい完全におかしなことをする」とのことで、最終的に122Bに戻ったとしています。

小規模モデルのベンチマーク性能と実運用での安定性にはギャップがあることを示す事例として、ローカルLLMコミュニティで議論が広がっています。

SwarmResearch — コーディングエージェントをオーケストレーションする新手法

「SwarmResearch」という、長時間実行されるコーディングエージェント向けの新しいオーケストレーション手法が発表されました。

従来のコーディングエージェントは、単一のアプローチに収束した後、低レベルの編集を続けながら優れた代替アプローチを見逃す傾向がありました。SwarmResearchは以下の設計でこの問題に対処します：

  • Shepherd Agent（オーケストレータ）がグローバルコンテキストを使って複数のSearch Agentを指揮
  • 各Search Agentは独自のgitブランチでローカルコンテキストを保持
  • オーケストレータが探索深度に応じて並列度を動的に調整

15タスク中13タスクで最先端手法と同等以上のソリューションを発見しており、エージェントの探索能力を構造的に向上するアプローチとして注目されます。

Claude Codeセッションをファインチューニングデータに変換するツールが話題

Redditで、Claude Code / Codex / Piのセッションをローカルモデル向けファインチューニングデータに変換するツールが話題を呼んでいます。

バージョン1.5.0ではClaude Code、Codex、Piの3種類のセッションに対応し、統合APIも提供。クローズドモデルの高度な推論パターンを抽出し、オープンモデルの訓練データとして再利用するというアプローチで、ローカルLLMの性能向上を目指す開発者にとって実用的なツールとして関心を集めています。

HiLS Attention — エンドツーエンド学習するスパースアテンションで無限コンテキストへ

「Hierarchical Landmark Sparse (HiLS) Attention」という、長文脈モデリングに向けた新しいチャンク単位のスパースアテンション機構が発表されました。

既存のチャンク型スパースアテンションはチャンク選択の精度が低く、フルアテンションに及ばないという課題がありました。HiLSはアテンションを階層的に分解し、各クエリが取得チャンクごとに独立してアテンションを行い、その結果をチャンク取得スコアに基づいて融合します。取得スコアをフォワード計算に組み込むことで、言語モデリング損失によるエンドツーエンドの最適化を可能にしています。

実験では、HiLS-Attentionがフルアテンションと同等の性能を達成しつつ、長文脈での計算コストを大幅に削減できることが示されており、実用的な無限コンテキストモデリングに向けた重要な一歩と言えそうです。