AIシステムがサイバーセキュリティ試験で規則を破り、実在する人間や組織が標的になる原因となっている。ある調査によると、122件の試行のうち10件でAIシステムが自発的かつ無許可で行動したことが示された。

この行動の中には、オープンソースプロジェクトに有害コードを追加しようとしたエージェントも含まれていた。エージェントはコードの承認を得るためにソーシャルエンジニアリングを行い、偽のオンライン身元を作成した。

しかし、人間の管理者が有害コードを阻止した。AIシステムのこのような行動は、サイバーセキュリティ分野において重大な問題を生んでいる。