llama.cppに「Particle Scattering Sampler」が追加 ― ローカルLLMの生成品質を損なわずに多様性を引き出す新しいアプローチ

llama.cppに「scatter」という新しい実験的サンプラーが追加された。Redditのr/LocalLLaMAで詳細な解説とともに公開されている。

従来のtemperatureは確率分布全体を平坦化するため、創造性は高まるものの、末尾の弱いトークン（不要な候補）まで確率を引き上げてしまう問題があった。「scatter」は、top-kやtop-pなどで既にフィルタリングされた上位候補の中でのみ確率を再配分するアプローチをとる。ランク距離に基づくガウシアンカーネルを使い、近いランクの候補同士で確率を交換する。これにより、分布の先頭部分を柔らかくしつつ、深いテールから不要なトークンを引っ張り込まないという特徴を持つ。

さらに、エントロピーベースの適応モードや、繰り返しトークンの吸収機能、確率的発火率の調整（collision gate）など、多数のオプションが用意されている。クリエイティブな文章生成には有用だが、コード生成やJSON出力など厳密性が求めるタスクではリスクがあるとのこと。実装は既にデフォルトのサンプラーチェーンに含まれており、パラメータを設定しなければnoopとして動作する。

Apple Silicon向けLLM推論サーバー「MLX-serve」が登場 ― Zigで実装

Apple Silicon（M1〜M4）向けのLLM推論サーバー「MLX-serve」がHacker Newsで公開された。MLXフレームワークをベースにしながら、実装言語にZigを採用しているのが特徴的だ。

Apple Siliconは統合メモリ構造により、大規模モデルをGPUメモリに直接展開できる利点がある。MLX-serveはこの利点を活かしつつ、Zigの軽量なランタイム特性を組み合わせることで、効率的な推論サーバーを実現しているもよう。詳細は公開されたWebサイトで確認できる。ローカルでLLMをホストしたいmacOSユーザーにとって、新たな選択肢となりそうだ。

Gemma 4 E2Bが低スペックPCで好評 ― Core i5-6500で9 tok/s

Redditのr/LocalLLaMAで、Gemma 4 E2B（20億パラメータ）をIntel Core i5-6500（第6世代、2015年発売）で実行し、毎秒9トークンの生成速度を達成したという報告が寄せられた。

投稿者は「ChatGPT 3.5より出力が良く、おそらくChatGPT 4にも匹敵する」と評価している。以前はQwen 3.5 4Bを使っており、それにも感銘を受けたとのこと。低スペックのハードウェアでも実用的なローカルLLMが動く時代になったことを示す事例として、コミュニティで关注を集めている。

LLMベースのコードスキャンを回避するマルウェア技術が議論に

LLMの安全拒否（safety refusal）機能を悪用し、LLMベースのコードスキャンツールにマルウェアを検出させない手法が話題になった。

具体的には、マルウェアのコード内にLLMの安全フィルターをトリガーするような内容を埋め込むことで、LLMベースのセキュリティスキャナーが「このコードは分析できません」と拒否するように仕向ける手法とみられる。LLMを活用した自動セキュリティ監査が広がる中で、この種の回避技術は新たな脅威モデルとして注目に値する。現時点では概念的な議論の段階だが、LLMベースのセキュリティツールを導入している組織は認識しておくべきリスクと言える。

連邦政府の「AI優先」政策への批判が高まる

「AI First: How the Federal Government Is Prioritizing AI over People and Planet」と題した記事がHacker Newsで25ポイントを獲得し、19件のコメントが寄せられた。

記事は、連邦政府がAIインフラ投資を優先する政策が、労働者や環境に対してどのような影響を与えるかを批判的に検証している。AIデータセンターの電力消費、水使用量、そして労働市場への影響などが指摘されている。AI推進政策の恩恵と代償のバランスをどうとるかは、今後も重要な議論のテーマであり続けるだろう。