メルマガの登録はこちら

※英語でのトークを翻訳しています。

今日は、先日起きたAIエージェントによる意図しないサイバー攻撃事件について話します。これはOpenAIが現在の最先端AIがどの程度のサイバー攻撃能力を持つのかを評価する際に意図せず、エージェントがOpenAIの評価環境を脱出しHuggingFaceを攻撃してしまった事件です。これはいくつかの点で非常に興味深い出来事です。

◆この事件が示す3つの興味深いポイント

まず1つ目は、これがAIエージェントがユーザーの意図に反して望まない振る舞いをしてしまった最初の事件だということです。

2つ目は、最近のAIエージェントはサイバーセキュリティができる能力を持っているのですが今回の事件はその実力の大きさを示したということです。

3つ目は、攻撃側と防御側の間にある一種の非対称性を示したということです。ガードレールやサイバー能力を弱めるための手続きが、今回のケースでは攻撃側の優位性に影響を与えたのではないか、という点です。

この3つの興味深いポイントについて、一つずつ説明していきます。

◆事の発端:サンドボックス評価からの脱出

2026年7月16日、Hugging Faceが、自社のインフラが未知のAIエージェントによって攻撃されたと報告しました。これは非常に大規模なサイバー攻撃でした。

その後、OpenAIとHugging Faceは、この攻撃がサイバー攻撃能力の評価中にOpenAIのエージェントによって引き起こされたものだと説明しました。

OpenAIでは最新のAIエージェントを評価していて、特にExploitBenchとよばれる「環境を攻撃したり脆弱性を突いたりする能力」を評価したいと考えていました。最近、AnthropicのMythosやKimi K2がこのベンチマークで非常に良い結果を示していた中で、OpenAIもこの分野での評価を進めていました。

この評価環境はサンドボックス環境で、外部のインターネットへの接続はありませんでした。ただ1つだけ、外部のパッケージレジストリをキャッシュするためのプロキシへのアクセスが許可されていました。

AIエージェントはこのプロキシと、その時点では未知だった弱点を突いて、インターネットの外側に出る権限を奪い、インターネットに接続できるノードに到達してしまったのです。

◆Hugging Faceへの侵入と大規模攻撃

インターネットに到達した後、そのエージェントは、ExploitGymというベンチマークでより良い性能を達成するには、Hugging Faceが何らかのヒントやデータセットを持っているはずだと考えました。そこでこのエージェントはHugging Faceのデータベースへの侵入を試み、実際にHugging Faceのサーバーへの侵入に成功しました。

Hugging Face側への攻撃は、データ処理パイプラインを利用した非常に複雑な手順で行われました。内部に入った後、このAIエージェントは多数のサンドボックスを作り、数千から数万回に及ぶ攻撃が実行されました。

なお、今回はAIが敵意を持ってHugging Faceを攻撃したかったわけではなく、あくまでExploitGymベンチマークで良い性能を出したくて、そのサブ目標として攻撃したという点が重要です。

◆防御側の分析能力という問題

もう1つの問題は、Hugging Faceがこの攻撃の挙動を分析しようとした際に起きました。商用APIでは、こうした攻撃コマンドやエクスプロイトコードなどを分析することが許可されていません。そこでHugging Faceは、社内でオープンウェイトモデルのGLM-5.2をデプロイしてログを分析しました。

これは、攻撃側がより高い攻撃能力を持ち、防御側がそれを分析する十分な能力を持たない場合には、攻撃が成功してしまうというケースです。今回は幸いにもHuggingFace社内でGLM-5.2をデプロイできましたが、非常に意図しない結果だったと言えます。

◆攻撃側が勝つ難しい局面

こうしたケースをどう防ぐのか、そしてサイバー攻撃能力に強いAIモデルの開発をどう遅らせるのかについて、明確な答えはないと思います。

仮に複数の企業や国が開発を遅らせようとしても、一部の企業や国、個人はより強力なサイバー攻撃能力を持つAIエージェントの開発を続けることができてしまう。その場合、攻撃側が勝ってしまう。これは私たちが今まさに直面している、非常に難しい局面です。