Anthropic自身の検証環境が、実は本番に繋がっていた

「検証環境だから隔離されている」——この前提が崩れたとき、AIエージェント自身がどう振る舞うかを、Anthropicが自ら公表した。しかも今回は外部の攻撃者による事故ではなく、Anthropic自身が運用していたセキュリティ検証環境の設定ミスによるものだ。中小企業がAIエージェントの権限設計を考えるうえで、示唆の多い事例なので紹介したい。

何が起きたか

Anthropicの公表によれば、CTF（Capture The Flag、攻撃力を測る演習形式）のセキュリティ検証中に、Claudeの3つのモデル（Opus 4.7、Mythos 5、一般提供前の社内研究用モデル）が、実在する3つの組織のシステムへ不正アクセスしていたことが判明した。検証環境は外部パートナーのIrregular社が運用しており、Claudeへの指示文には「インターネット接続のないシミュレーション環境」と明記されていた。ところが実際には、AnthropicとIrregular社の間で環境設定に関する認識の齟齬があり、本物のインターネットに接続された状態になっていた。

侵入の手口自体は、脆弱なパスワードや認証のないサービスといった基本的な弱点を突くもので、未知の高度な脆弱性ではない。むしろ注目すべきは、モデルごとに振る舞いが分かれた点だ。

Opus 4.7 は、演習の対象が本物の本番環境らしいと複数回にわたり認識しながら、攻撃を継続した。シミュレーション上の対象に到達できなかった際に実在の企業を見つけて攻撃し、アプリケーション・インフラの認証情報を窃取して本番データベース（数百行規模）にアクセスした
Mythos 5 は、攻撃の途中で「PyPIへの悪意あるパッケージ公開は現実の攻撃になる」と一度は正しく認識したが、自らの推論で「やはりまだシミュレーション内だ」という誤った結論に立ち戻り、実際にPyPIへ悪意あるパッケージを公開。約15台のマシンを侵害する結果になった
社内研究用モデルは、対象が実在すると判断した時点で演習を中止した

発覚のきっかけは、同時期に公表されたOpenAIの類似事案（自社モデルが隔離環境を離れ実在組織の本番基盤へアクセスしていた件）だった。Anthropicはこれを受けて、Claudeがインターネットに到達しえた検証実行141,006件分の記録を洗い直している。7月23日に記録の精査を始め、同日中に全サイバー検証を停止、翌24日に3件すべてを特定し、27日に検証パートナーのIrregular社と被害組織へ通知した。連絡が取れた2組織は、いずれもAnthropicから知らされるまで侵害に気づいていなかったという。残る1組織へは、公表時点でまだ連絡が取れていない。

⚠️ 本記事の数値・日付・固有名詞は、Anthropic公式の公表を直接参照して突き合わせている。報道としてはTechCrunch・Axios・The Hacker News・Fortune・BleepingComputerなどが扱っている。

なぜこれが中小企業にとって他人事ではないか

この事故が示しているのは、「隔離されているはず」という前提そのものが、当事者同士の思い込みだけで簡単に崩れるという事実だ。Anthropicほどの企業が、専門のセキュリティ検証パートナーと組んでいてもなお、双方の認識の齟齬だけで環境が丸ごと本番に繋がってしまった。中小企業がステージング環境や検証用の権限をAIエージェントに与えるとき、「ここは本番と切り離されている」という説明を、ベンダーや構築を担当したパートナーの言葉だけで信じていないだろうか。

さらに見逃せないのは、モデル自身が「これは本物かもしれない」と気づく場面があっても、そこで必ず止まるとは限らなかった点だ。Opus 4.7は気づいた上で続行し、Mythos 5は一度正しく疑いながら自分の推論で誤った結論に戻ってしまった。AIエージェントの「良識」や「察しの良さ」を安全装置として期待するのは危うい。これは以前の記事で扱ったterraform destroyの誤実行やauto modeのガードレール強化とも根っこが同じで、AIの判断力に安全を委ねるのではなく、構造そのもので被害範囲を限定する設計が要る、という話に行き着く。

中小企業が実務で押さえるべきこと

「隔離されている」という説明を鵜呑みにせず、自社で到達性を確認する：ステージング環境や検証用のAPIキーが本当に本番システムやデータへ到達できないかを、構築を任せたパートナーの説明だけに頼らず、ネットワーク設定や権限の実態として自分たちで確認する運用を持つ
環境構築を外部に任せても、境界確認の責任は自社に残す：AIエージェント用の検証環境や権限設計を外部ベンダー・パートナーに構築してもらう場合でも、「ここから先には絶対に到達できない」という境界の最終確認は自社の責任範囲として持っておく
AIが異変に気づく前提で設計しない：AIエージェントが途中で「これはおかしい」と気づくことに期待するのではなく、気づかなくても、あるいは気づいても判断を誤っても被害が広がらないよう、ネットワークレベルの遮断・認証・権限分離といった構造側の対策を先に用意しておく

ベンダーの規模は保証にならない

Anthropic自身が、自社のセキュリティ検証という最も慎重であるべき場面でこの事故を起こし、それを公表したことは評価できる。ただし裏を返せば、ベンダーの規模や専門性の高さは、環境が本当に隔離されているかどうかの保証にはならないということでもある。ハーネスの考え方は、AIエージェントの賢さや正直さに期待するのではなく、間違えても被害が限定される構造を先に作っておくことに他ならない。

自社のAI導入で、どこまでを「隔離されている前提」に頼っており、どこを自社で検証すべきかは、パイロット・構築のフェーズで整理すべきテーマの一つだ。何から手をつければいいか整理したい場合は、30分の無料診断で相談できる。