LLMは「99%確実」と嘘をついている——自信度を正しく言語化させる手法が登場
LLMに「この回答の確信度は？」と聞くと、ほぼ確実に「99%確実」と返ってくる。しかし内部の隠れ状態を解析すると、モデルは実際には正答と誤答を0.76〜0.88のAUROCで判別できている。つまりモデルは自分が分かっていることを言語化できていないのだ。
Reddit r/MachineLearningで注目を集めた研究では、この隠れ状態のプローブ出力をLoRAのファインチューニング目標として使う「probe-targeted fine-tuning」を提案。数百例、M3 Ultraで10分未満の学習で、モデルが内部認識を正直に言語化できるようになるという。
8モデル・4ファミリー（7B〜70B）で検証済みで、活性化パッチングによる因果性も確認されている（ρ = 0.976）。70Bクラスでは内部的なメタ認知シグナルは存在するものの、argmaxテキスト出力のボトルネックで「99%」に固定されてしまう現象も観察された。LLMの信頼性評価に新たなアプローチを示す興味深い成果だ。
コーディングエージェントにHTMLを喋らせるとSVG図表が描ける
「AIエージェントはmarkdownばかり出力しているが、HTMLを主言語にしたらどうなるか？」——そんな実験がr/LocalLLaMAで話題になっている。
開発者はブラウザ上で動くコーディングエージェントのシステムプロンプトをmarkdownからHTMLに変更。結果、Qwen3.6-27Bがチャット内で直接SVG図表を描画できるようになったという。表やレイアウトもHTMLタグで構築可能になり、表現力が大幅に向上した。
ただし、モデルはまだmarkdownに引き戻される傾向があり、完全にHTMLへ移行するには明示的な指示が必要とのこと。Qwen3-VL-4ではSVGの品質が著しく低く、SVG描画は「モデルの emergent capability」である可能性が高いと分析されている。コードはGitHubで公開中。
教皇の初AI回勅「Humanitas」、AIが大部分を執筆したという証拠
ローマ教皇が初めて発表したAIに関する回勅「Humanitas」について、Substackの分析記事が大部分がAI（Claude）によって執筆された証拠を提示し、Hacker Newsで議論を呼んでいる。
分析では文体パターン、用語選択、構造的特徴などからAI生成の痕跡を特定。信仰文書としてAIを利用することの倫理的・社会的影響について、宗教界とAIコミュニティ双方の視点から活発な議論が展開されている。
Skill0.5：エージェントRLでスキルの「内生化」と「活用」を統合
Hugging Face Daily Papersで掲載されたSkill0.5は、スキルベース強化学習における「完全外部化（コンテキスト過多）vs完全内生化（過学習・知識衝突）」の二択問題を解消する手法。
難易度認識ルーターがタスクを3段階に振り分け、難しいタスクでは一般的スキルを特権蒸留で内生化し、中程度のタスクでは標準RLで成功率を最大化、簡単なタスクではショートカットを罰して忠実なスキル活用を強制する。ALFWorldとWebShopで従来手法を上回る性能を確認。
Ptah：信頼できるマルチモーダルレポート生成ハーネス
同じくHugging Face Daily Papersに掲載されたPtahは、テキスト研究・主張に基づく証拠・ソース整合の視覚的証拠を協調させるマルチエージェントハーネス。
画像とテキストが交互に配置されるレポート形式で、事実の根拠、引用の忠実性、視覚的関連性、クロスモーダル一貫性を評価するPtahEvalプロトコルも併せて提案されている。