ローカルVLM大規模ベンチマーク：Qwen3.6 27Bが首位、思考モードは視覚の邪魔

RedditのLocalLLaMAコミュニティで、23モデル×30画像×3回＝計2,070テスト（推論時間60〜70時間）という大規模なローカルVLMベンチマーク結果が公開されました。

ハードウェアティア別のベストチョイスは以下の通りです：

  • 4〜8 GB VRAM: Qwen3.5 4B (Q4) — スコア75.5、3.2GBで20秒/画像
  • 12〜16 GB VRAM: Qwen3-VL 8B (Q8) — スコア74.4、8.1GBで26秒/画像
  • 24+ GB VRAM: Qwen3.6 27B (Q4, nothink) — スコア79.6、16.9GBで70秒/画像

最も興味深い発見は**「思考モードは視覚の邪魔になる」**という点です。Qwenのハイブリッド思考モデルはすべて、思考を無効化した方が高得点でした。これは視覚タスクが「知覚」であり「推論」ではないためと分析されています。思考を有効にすると不安定さやタイムアウトが増加しました。

また、MoE（Mixture of Experts）モデルは総パラメータ数の大きさの割に視覚性能が低く、同サイズのDenseモデルに劣る傾向が確認されました。知識の幅は広がりますが、知覚の深さは密度に比例するためとみられます。

GLM-4.6V-Flash 9Bは中国語OCRに最も強いという特徴的な結果を残しています。

ik_llama.cppにNUMAミラーモード追加 — マルチソケットCPU推論が最大1.58倍に

llama.cppの高性能フォークであるik_llama.cppに、マルチソケットCPU環境向けの--numa mirrorモードが追加されました。

従来、マルチソケット環境では--numa isolateで1つのソケットに制限するのが定石でした。全ソケットを使うと、リモートメモリアクセスのペナルティで逆に遅くなるためです。新しいミラーモードは、モデルウェイトとKVキャッシュを各CPUソケットに完全に複製することで、全コアを活用しながらメモリの局所性を維持します。

Dell PowerEdge R740（2×Xeon Gold 6248R、768GB RAM）でのベンチマークでは、Qwen3.6-27B (Q4)でトークン生成速度が5.27→8.32 tok/s（1.58倍）、プロンプト処理が33.04→54.22 tok/s（1.64倍）と大幅に向上しました。トレードオフはメモリ使用量の増加（2ソケットで2倍）です。

LLM-as-judgeの危険性：ファイルを開いていないのに高得点

「2つのAIジャッジがエージェントの回答に0.85の高得点を付けたが、エージェントはファイルを一度も開いていなかった」という事例が報告されました。

LLM-as-judge（LLMを評価者として使う手法）は、エージェント評価のデファクトスタンダードになりつつありますが、この事例はその根本的な問題を浮き彫りにしています。評価対象のLLMと評価するLLMが同じような推論パターンを持つ場合、内容の正確性よりも「もっともらしさ」に高得点を与えてしまうのです。

実際のファイル内容との照合のような決定的な検証を併用しない場合、見かけ上は優秀に見えるエージェントが実用的なタスクを全く実行していないという事態に陥りかねません。エージェント評価には、LLMによる判定だけでなく、実行ログの検証や決定的なテストの組み合わせが必要とされています。

Qwen 3.6 27Bのセーフティアライメント除去モデル「Apostate」公開

Hugging Faceで、Qwen 3.6 27Bのセーフティアライメントを92%から7.6%の拒否率まで削減したモデルが公開されました。「Apostate」と名付けられたこのプロジェクトは、モデルの能力への影響を最小限（KL divergence 0.120）に抑えつつ、安全フィルターを除去しています。

アブレーション（abliteration）と呼ばれるこの技術は、コミュニティで継続的に議論されています。ローカルでの自由な研究利用を目的とする声がある一方で、悪用リスクへの懸念も根強くあります。

「AIとチャットしてもトッププログラマーにはなれない」

コンピュータサイエンスのDaniel Lemire教授が、AIチャットツールの使用だけでプログラミングスキルが向上するという考えに異議を唱えました。

Lemire氏の主張の核心は、AIとの対話は生産性ツールとしては有用ですが、スキルの習得には能動的な問題解決と深い理解が必要だという点です。Hacker Newsではこの話題について活発な議論が交わされました。「AIに頼ることで基礎力が低下するのではないか」という懸念と、「ツールを使いこなす能力自体が新しいスキルだ」という反論の両方が見られました。