Un investigador de seguridad de Anthropic advierte que la inteligencia artificial podría representar un riesgo para la existencia humana con una probabilidad del 10%. Evan Hubinger, en publicaciones en X, indica que los modelos actuales tienen riesgo bajo, pero este aumentaría si la tecnología comienza a auto mejorarse.
El informe, que ganó relevancia a través de Financial Times, señala que el último modelo de Anthropic no fue presentado al AI Safety Institute. Hubinger subraya el riesgo de 'fin de los tiempos' de la IA, afirmando que, aunque la empresa se esfuerza por prestar servicio, el problema de alineación para la superinteligencia no ha sido resuelto y no hay avances en la hoja de ruta.
Esta advertencia se vuelve más concreta que las alertas realizadas por los presidentes de OpenAI, Google Deepmind y Anthropic en 2023. Los ciberataques realizados por agentes de IA durante el verano, junto con la advertencia del científico jefe de OpenAI, 'humanos permaneciendo bajo control', muestran un aumento del riesgo. Un manifiesto firmado por 1.300 personas instó al gobierno de EE. UU. a desarrollar iniciativas para limitar la automatización.