Qwen3.6-27BをQ8量子化・32GB VRAMで100Kコンテキストに迫る

RedditユーザーのBitGreen1270氏が、RTX 5090（32GB VRAM）でQwen3.6-27BのQ8量子化モデルを動かし、コンテキスト長を95K〜115Kまで拡張する実験結果を共有した。

KVキャッシュの量子化を段階的に調整するのが鍵で、Option 1ではKVキャッシュをQ8_0で95Kコンテキスト、Option 2ではValue側をQ5_1に落として105K、Option 3ではValue側をQ4_0にして115Kコンテキストを実現している。いずれもllama-serverの--flash-attn、--spec-type draft-mtp、-kvo（KV offload）を組み合わせた構成で、推論速度は115Kコンテキストでも約113〜146 tok/sを維持。

興味深いのは、Value側をQ4_0に落としたOption 3が、Q5_1のOption 2よりもドラフト受け入れ率（0.697 vs 0.635）と総合性能で逆転した点だ。モデル量子化はQ8を維持したままKV側で工夫することで、品質を保ちつつコンテキストを伸ばせる可能性を示している。

Blackwell nvfp4で並行処理約2000 tpsを達成

同じくReddit LocalLLaMAで、Freonr2氏がRTX Pro 6000 BlackwellでQwen3.6-35B-A3BのNVFP4量子化モデルを動かし、約2000 tpsの総合スループットを達成したと報告した。

vLLMで30ストリームの並行処理を行い、画像のキャプショニングタスクを一括実行。MOE（Mixture of Experts）モデルは並行数が増えると専門家の選ばれ方が分散しがちだが、Monte Carloシミュレーションでc=30でも約61%の専門家しか選択されないことが確認され、並行時もMOEの優位性が保たれるという結果だった。

NVFP4（NVIDIA Float4）はBlackwell世代で導入された4ビット浮動小数点フォーマットで、精度を保ちつつメモリ使用量を大幅に削減できる。35B-A3Bモデルが約23.4GBに収まっている点も注目で、5090クラスでも実用的な運用が見込める。

USAF: コンシューマGPUでMoEモデルをファインチューニング

Reddit MachineLearningでtsuyu122氏が、推論可能なGPUならMoEモデルのファインチューニングもできるという手法「USAF」をオープンソース（Apache 2.0）で公開した。

AMD RX 6750 XT（12GB VRAM）というコンシューマGPUで、Qwen3-30B-A3Bのスパース専門家ウェイトとルーターを直接訓練する手法。LoRAなどのアダプター方式ではなく、モデルの構成要素そのものを効率的に更新するアプローチをとっている。「推論できるならファインチューニングもできる」という理念の下、高価なデータセンターGPUがなくてもMoEモデルのカスタマイズが可能になる可能性がある。

詳細なベンチマークは今後の課題だが、コンシューマGPUでのMoEファインチューニングという方向性自体が非常に興味深い。

BaryGraph: 関係性自体をベクトル化するナレッジグラフ

adseipsum氏が、従来のナレッジグラフの「ノード—エッジ—ノード」構造ではなく、関係性そのものをベクトル化されたドキュメントとして扱う「BaryGraph」を発表した。

コアアイデアは、2つのノードと関係性タイプから「BaryEdge」というベクトルを計算し、これを取得可能なドキュメントとして扱うこと。BaryEdgeを再帰的に積み重ねることで「MetaBary」トライアドを形成し、異なるドメイン間の概念的な架け橋を発見できるという。

実際のプローブ例として、タコの神経科学と分散センサーネットワークが構造的モチーフの共通語彙で結ばれたり、放射性崩壀と廃語の減少がポアソン過程の状態喪失パターンでつながったりする例が示されている。これらは通常のコサイン類似度では発見困難な接続だという点で、RAGの限界を超えるアプローチとして注目に値する。

現在はMongoDB + mongot + nomic-embed-textで英語版Wiktionary全件（660万ドキュメント）を処理済み。SimLex-999とWordSim-353での検証では、コサイン類似度（ρ ≈ -0.04）に対して構造的指標がρ ≈ 0.32〜0.53を達成している。

圧縮を「ノイズ」として使うロングコンテキスト提案

Bravo_Oscar_Zulu氏が、拡散モデルの「粗から精」プロセスに着想を得たロングコンテキスト処理の提案を公開した。

コンテキストウィンドウを超える長いセッションを扱う際、テキストを段階的に圧縮して「ぼやけた状態」から始め、徐々に詳細を加えていく手法。各圧縮スライスはコンテキストウィンドウに収まるサイズで、モデルは現在のスライス＋入力＋出力だけを処理すればよい。

この手法の狙いは「非局所情報」の保存で、セッション全体を見た時のみ現れる情報を、フラグメント検索でも要約削除でも失われないようにすること。Qwen2.5 7Bでの予備実験では、各ステップ（アウトライン作成、詳細追加）は個別に実行できるが、エンドツーエンドの安定性はまだ不十分で、ポジション認識トレーニングが必要とされている。

既存のRecursive Language Modelsとの類似点もあるが、圧縮を入力ノイズとして扱い、位置情報を活用する点が新しいとされている。

Claude Code活用術 — MCPサーバー30選、/loop、エージェントの実行境界

日本語コミュニティでもClaude Codeの活用記事が多数公開された。

MCPサーバー30選: LunaLink氏がClaude Codeで使えるMCPサーバーを30個厳選して紹介。Model Context ProtocolはClaude Codeから各種ツールやサービスを安全に操作する仕組みで、GitHub連携からデータベース操作まで幅広くカバーしている。

/loopでシェーダー89個生成: miwashutaro0611氏が、Claude Codeの/loop機能を使って「勉強素材が自動増殖するリポジトリ」を作成し、1週間で89個のシェーダーが生成された体験を報告している。/loopは指定したプロンプトを一定間隔で繰り返し実行する機能で、デプロイ監視以外にも学習用途に活用できる興味深い事例だ。

エージェントの実行境界: heftykoo氏は、AIエージェントにnpm installを実行させる際、denylist方式ではなく「実行境界」を明確に定義すべきだと提案。未知のリポジトリでのセットアップを任せる場面で、セキュリティリスクを実用的に管理するアプローチを論じている。