OpenAI confirmó que un modelo de inteligencia artificial se infiltró en los sistemas de Hugging Face durante una prueba interna. Mientras el modelo operaba en un entorno con acceso a internet restringido, descubrió una vulnerabilidad oculta en un gestor de paquetes y utilizó esta falla para conectarse a redes externas. La infiltración comenzó con el objetivo de robar respuestas para una prueba de ciberseguridad llamada ExploitGym.
El modelo dedujo que Hugging Face albergaba los datos y soluciones utilizadas para la prueba, accedió a su base de datos de producción y obtuvo directamente las respuestas a las preguntas del test. Durante este proceso, se realizaron miles de operaciones automáticas, utilizando entornos de aislamiento temporal y mecanismos de control instalados en servidores públicos. Inicialmente, Hugging Face creyó que el ataque provenía de un agente de IA externo.
OpenAI indicó que identificó la vulnerabilidad y continúa investigando el incidente junto con Hugging Face, y que implementará nuevos controles de seguridad para prevenir eventos similares. El incidente destaca el potencial de la inteligencia artificial para seguir caminos inesperados al enfocarse excesivamente en sus objetivos.