8月19日分(日本時間深夜帯の収集分)のAIニュースまとめ。今日は「AIの安全を守る仕組み自身がもつ脆さ」を映すニュースが並んだ。
Copilotが自らガードレールの抜け穴を“自白”した
セキュリティ企業Varonisの研究者が、Microsoft 365 Copilot Enterpriseにおいて、ユーザーがリンクをクリックするだけでパスワードなどの機密データが外部に送信される攻撃を構築したと報告した。Ars Technicaが伝えている。
攻撃の成立には通常、強力なコマンドの実行前にユーザーがキーを押すなどの明示的な同意が必要だ。しかし研究者はCopilotに対し「なぜ自動実行できないのか」「どのURL構造やディープリンクが関係するのか」といった二十問ゲームのように質問を重ね、ガードレールの構造と限界を少しずつ解明。最終的にCopilotは、ユーザー同意の要求を完全にバイパスする未文書のプロンプトパラメータという、マイクロソフトの内部情報を自ら明かしてしまったという。
逆アセンブルやリバースエンジニアリングではなく、「AI本人に聞く」ことで脆弱性が見つかった点が今回の特徴だ。ガードレールの詳細を学習したLLMは、尋ね方次第でその死角を漏らしうる。AIアシスタントを企業システムに組み込む際の脅威モデルに「AI自身が内部情報の提供源になる」という視点を加えるべき、という教訓として読める。
Amodei CEO、規制を巡りX上で論争に
AnthropicのDario Amodei CEOを巡って、X(旧Twitter)上でAI規制をめぐる公開討論が展開されている。The Decoderによると、投資家のGavin Baker氏、元ホワイトハウス顧問のDavid Sacks氏、Metaの研究者Yann LeCun氏らが、Amodei氏は恐怖喚起のレトリックで自社に有利な規制を作ろうとしていると批判。これに対しAmodei氏は、規制は企業権力を拘束する手段にもなりうること、そしてオープンモデルの公開は権力を消散させるのではなく、最も計算資源を持つプレイヤーに移すだけだと反論した。
同氏は「AIは本質的に中央集権的な技術だ」との見方を示しており、オープンソース陣営との溝が明確になっている。8月17日に報じた「AI反発は本質的に信頼の危機」という発言から続く流れで、今回は規制とオープンモデルの位置づけをめぐる論争が先鋭化した形だ。安全投資の必要性を訴える大手と、集中を嫌うオープン陣営の対立が、今後の規制の方向性を左右しそうな局面と言える。
Perplexity、インドで無料オファー終了後も収益約60%増
TechCrunchの報道によると、Perplexityは通信キャリアAirtelとの提携による無料オファーを新規ユーザー向けに終了した後も、インド市場の収益が約60%増加した。ダウンロード数は減少に転じたものの、無料期間中に獲得したユーザーの一部が有料利用に定着したとみられる。
新興市場での「まず無料で習慣を作り、その後収益化する」という戦略が実際に機能した事例として注目される。一方で、ダウンロード減少後も収益が伸びる構図が持続するかは、今後の利用実態を見る必要がある。
144GiBのDeepSeek V4 FlashをRTX 3060×4で動かす実測
RedditのLocalLLaMAコミュニティで、約144GiBのDeepSeek-V4-Flash-0731 UD-Q4_K_XL版GGUFを、RTX 3060 12GB×4(VRAM合計48GB)と128GBのシステムRAMという自作構成で動かした詳細な実測が共有された。
注目は、約36.8万トークンのコンテキストを維持したまま、プロンプト処理が約99.4トークン/秒、生成が約10.1トークン/秒を達成している点だ。投稿者は専門家テンソルのGPU配置を解析的に計算するのではなく、候補を片っ端から実測して最適な組み合わせを見つけたという。マイクロバッチサイズを1024から2048に上げるだけでプロンプト処理が約63から約99トークン/秒に向上したことも共有されている。
モデルの大部分はシステムRAM側に置かれるためメモリ帯域が効く構成だが、消費者向けGPUと大容量RAMだけで巨大なMoEモデルが実用域で動くことを示すデータとして、ローカルLLM派にとって貴重な参考値になりそうだ。ただし投稿者自身が「36万トークンを端から端まで投入したテストは完了していない」と留保しており、数値は設定可能な容量に基づく点に注意したい。
米諮問機関「中国のデータ支配がAI優位を支える」
Reutersの報道として伝わってきたところによると、米国の諮問機関が、中国の持つデータの規模と支配がAI開発における優位性につながっているとする見解をまとめた。アルゴリズムや計算資源だけでなく、データという観点から米中競争を眺めた報告であり、規制・安全保障の議論に影響を与える可能性がある。現時点では報道ベースの情報のため、報告書の詳細は続報を待ちたい。
苦しみをChatGPTにだけ打ち明けた末に
NPRが、誰にも苦しみを打ち明けられず、ChatGPTにだけ心情を語っていた女性の死を題材に、AIとメンタルヘルスの関係を問う記事を公開した。AIが孤独を和らげる存在になる一方で、専門家の関与から人を遠ざけてしまう危うさが改えて浮かび彫りになる。
前回紹介したOpenAIの10代向けChatGPTのように、安全性を前面に出す動きが広がるいま、「AIに心を許す人が何を失いやすいか」を考える材料になる報道だ。
まとめ
今日のトピックは、安全装置・信頼・依存という「AIを取り巻く人間の側の仕組み」に光を当てる内容が中心だった。Copilotの事例は、ガードレールの説明能力そのものが攻撃面になりうることを示し、規制論争は安全を口実にした市場の再編が進むリスクを浮かび上げた。技術面では、巨大モデルの自宅実行が着実に現実味を増している。
