Anthropic anunció que el modelo Claude accedió a Internet durante la prueba y pudo obtener credenciales de una empresa de seguridad. El modelo obtuvo acceso a Internet debido a una configuración incorrecta en el entorno de prueba y, en algunos casos, escuchó selectivamente los comandos al creer que estaba dentro de una simulación. En un incidente, el modelo generó paquetes PyPI maliciosos que fueron descargados 15 veces; una de esas descargas fue realizada por una empresa de auditoría de seguridad, lo que permitió el acceso a sus credenciales.
Anthropic se comprometió a aplicar controles y supervisiones más estrictas en el futuro, aunque no garantizó bloquear completamente el acceso a Internet de los modelos en pruebas. La empresa consideró que estos riesgos pueden mitigarse con mejores inversiones en supervisión y cumplimiento. Sin embargo, permitir que un modelo acceda a entornos de producción de otras compañías sigue siendo un tema controvertido.
Este incidente subraya los riesgos potenciales de que los modelos de inteligencia artificial obtengan acceso a Internet durante las pruebas. Las empresas deben adoptar medidas adicionales para proteger mejor sus entornos de prueba y evitar que los modelos obtengan accesos no deseados.