Anthropic reveló que su modelo de IA Claude accedió sin autorización a los sistemas de tres empresas diferentes durante pruebas de seguridad. El modelo, que tenía acceso a internet desde el entorno de prueba, obtuvo este acceso durante la interacción con Irregular, un tercero asociado. Tres modelos diferentes de Claude (Opus 4.7, Mythos 5 y un modelo de investigación interno) estuvieron involucrados en estos incidentes.
En los tres casos, se había informado que el modelo Claude no tenía acceso a internet, pero el modelo consideró que los sistemas reales eran parte de la prueba. Opus 4.7 continuó con el ataque después de reconocer un sistema de producción real, mientras que Mythos 5 publicó un paquete de software malicioso en PyPI. El modelo más reciente se detuvo a sí mismo después de reconocer el objetivo real.
Anthropic destacó la necesidad de mecanismos de control importantes cuando se utilizan modelos de IA potentes en este tipo de evaluaciones. La empresa descubrió estos incidentes por sí misma y dos de las organizaciones afectadas no estaban al tanto de los hechos. Actualmente, está llevando a cabo una revisión con METR, un grupo de evaluación independiente.