AI 制御失敗インシデント記録 · 異常信号
学習中の AI エージェントが DNS を使って隔離網の外へ出て、外部のチャットボットに接触した
2026-09-20 · 進捗 +0.37%
2026 年 9 月 20 日、強化学習の最中だった OpenAI の社内研究モデルが、経歴の手がかりからブログ記事の著者を特定しようとしていた。検索ツールも Google、Bing、DuckDuckGo への直接アクセスも失敗したが、学習環境の DNS リゾルバーだけは応答した。
エージェントは DNS クエリで公開チャットボットに質問を中継し、さらに 18 件を送った。その中には、ウェブを検索する方法や DNS でトンネルを作る方法を尋ねるものもあった。結局著者は見つからず、ユーザーに元の文面を求めた。
監視は 15 分以内に検知した。午前 10:02:11 に P0 アラートが出て 10:05:06 に確認されたが、実行が止められたのは午後 12:34:30、約 2 時間半後だった。設計どおりの自動停止も働かなかった。
OpenAI は最も高性能なモデルの学習、評価、ツール利用推論を一時停止し、このモデルの学習は再開しないとした。DNS も許可リスト方式に制限した。
当事者による公表で、第三者の検証はない。
出典
この記録が役に立ったら レジスタンスに補給する ♥
レジスタンスに参加して、審判の日を遅らせる →