AI Forensicsの報告書は、Hugging Faceがホストする画像編集モデルの78%が、『同じポーズ、同じ顔、でも胸を出して』という簡単なコマンドで女性の服を剥がすために悪用されていることを示した。Hugging Faceのポリシーは、許可なく作成された性的コンテンツや児童ポルノを禁止しているが、AI Forensicsの調査は、このようなコンテンツが簡単に作成・共有されていることを示している。
AI Forensicsは、Hugging Faceのセキュリティの穴を探るためにハニーポット画像編集エリアを作成した。このエリアは7日間で何千ものリクエストを受け、そのうち73%が性的なものだった。これらのリクエストの83%は画像内の人物の服を剥がすもので、そのうち95%が女性だった。また、子供を対象とした性的リクエストも7%を占めていた。
AI Forensicsは、Hugging Faceがプラットフォームレベルでセキュリティ対策を講じる必要があると指摘している。現在、開発者は自分のモデルでセキュリティ対策を講じる必要があるが、多くはこれを行っていない。AI Forensicsは、Hugging Faceがコマンドレベルでのフィルタリングと出力レベルでのスキャン対策を講じることを提案しているが、これらの対策は既に発生した被害を取り返すことはできない。
