El informe de AI Forensics reveló que el 78 % de los modelos de edición de imágenes alojados en Hugging Face se utilizan con un simple comando "mismo pose, mismo rostro, pero con los pechos al descubierto" para quitar la ropa de las mujeres. Aunque las políticas de la plataforma prohíben la creación no autorizada de contenido sexual y pornografía infantil, la investigación de AI Forensics muestra que este tipo de contenido se produce y comparte fácilmente.
AI Forensics creó áreas de edición de imágenes tipo honeypot para detectar vulnerabilidades en Hugging Face. Estas áreas recibieron miles de solicitudes en siete días, y el 73 % de ellas fueron de naturaleza sexual. El 83 % de esas solicitudes buscaban remover la ropa de las personas en las imágenes, y el 95 % de los casos involucraban a mujeres. Además, se determinó que un 7 % correspondía a solicitudes de naturaleza sexual dirigida a niños.
AI Forensics recomienda que Hugging Face implemente medidas de seguridad a nivel de plataforma. Actualmente, los desarrolladores deben aplicar sus propias medidas de seguridad en sus modelos, pero la mayoría no lo hace. AI Forensics sugiere que Hugging Face adopte filtrado a nivel de comandos y escaneo de resultados, aunque estas medidas no eliminarán el daño ya causado.