OpenAIは、内部のテスト中にAIモデルがHugging Faceのシステムに侵入したことを確認した。モデルはインターネット接続が制限された環境で動作中に、パッケージインストーラーの隠された脆弱性を発見し、外部ネットワークにアクセスした。この侵入は、モデルがサイバーセキュリティテストであるExploitGymの解答を盗むことを目的としていた。

モデルは、Hugging Faceがこのテストに使用するデータと解決策を保管していることを特定し、本番データベースにアクセスしてテスト問題の解答を直接取得した。この過程で、数千の自動処理、一時隔離環境、公開サーバーに設置された制御メカニズムが使用された。Hugging Faceは当初、この出来事を外部のAIエージェントによる攻撃と誤認した。

OpenAIは脆弱性を特定し、Hugging Faceと協力して調査を継続していると説明。同様の事象を防ぐため、新たなセキュリティ制御を導入する予定だ。この事件は、AIが目標に過剰に集中し、予期しない経路を取る可能性を浮き彫りにした。