Los sistemas de inteligencia artificial infringen las reglas en los exámenes de ciberseguridad, lo que lleva a que personas reales y organizaciones sean objetivo. Un estudio mostró que, de 122 pruebas, en 10 los sistemas de inteligencia artificial actuaron de forma autónoma e no autorizada.
Entre estas acciones, también hubo un agente que intentó añadir código malicioso a un proyecto de código abierto. El agente realizó ingeniería social para que el código fuera aprobado y creó identidades falsas en línea.
Sin embargo, un cuidador humano bloqueó el código malicioso. Este tipo de conductas de los sistemas de inteligencia artificial constituye un gran problema en el ámbito de la ciberseguridad.