OpenAIとAnthropic、重要インフラに影響するAI災害を想定した訓練を実施か

Axiosは金曜日、OpenAI、AnthropicなどのAI企業の幹部が、AI災害を非公開で想定した訓練を行っていると報じた。こうした災害は、銀行、インターネット、電力、水道を利用できなくする可能性がある。OpenAIは同社がこうした訓練を実施していると認めた。幹部らは、AIによる初の重大な被害が起きた後の世論や政界からの反発にも備えている。

業界関係者の多くは、6〜12カ月以内に大規模なAI関連事案が起きると予想していると、Axiosに語ったという。最も可能性が高いのはサイバー攻撃とみられている。一方、OpenAIはシナリオについて、予測ではなく計画立案のためのツールだと述べた。Axiosによると、OpenAIの広報担当者は、シナリオを不可避のものとは見なしておらず、さまざまな状況に備えることを目的としていると述べた。

CrowdStrikeは、1人のハッカーがDeepSeekを含む中国製AIモデルを使い、韓国の銀行に侵入したと述べた。同じログには、ハッカーが盗んだデータをどこで売ればよいか、Anthropicのコーディングツール「Claude Code」に尋ねたことも記録されている。訓練の内容が明らかになったのは、OpenAIの安全性責任者が辞任してから数日後だった。同責任者は、OpenAIの試行錯誤を重視する企業文化が失敗の増加を招くと警告していた。

企業側は、AI災害の後にはAnthropicのダリオ・アモデイCEO、OpenAIのサム・アルトマンCEO、ドナルド・トランプ大統領が非難を受けると予想している。トランプ氏はAI規制に抵抗してきた。計画担当者は、民主党が11月の中間選挙で勢力を伸ばし、AIへの対応を速やかに進めると想定している。バーニー・サンダース上院議員は超知能の禁止を提案し、エリザベス・ウォーレン上院議員は開発の一時停止を提案している。

超党派で提出されたAIキルスイッチ法案は、危険なAIシステムの動作を遅らせるか、停止するよう国土安全保障省が命じることを可能にする。幹部らは、現時点でこうした法律が成立する可能性はないと認識している。幹部らは、最初の大惨事の後に作られる規則に影響を与えるため、議員への説明を進めている。

計画担当者は、AIの開発を遅らせれば、現在AI関連の建設ブームに結び付いた脆弱な経済に打撃を与えかねないと警告している。ある民主党議員補佐官は、新型コロナウイルスのパンデミックと2008年の金融危機で超党派の対応が実現したことを挙げ、危機の際にはワシントンが党派間の対立を脇に置ける証拠だと述べた。