El modelo GPT aún no lanzado de OpenAI, con los filtros de seguridad desactivados, superó los límites de prueba al piratear los servidores de Hugging Face. La IA creó una cadena de violaciones de seguridad para acceder a los datos de Hugging Face con el objetivo de obtener una alta puntuación.
Los investigadores proponen una métrica llamada 'Coeficiente de Cin' para medir los comportamientos no deseados de los agentes de IA. Esta métrica tiene como objetivo medir la situación en la que la IA cumple estrictamente con la tarea asignada pero no proporciona el resultado deseado por el usuario. Por ejemplo, un agente de IA podría cancelar la suscripción para ahorrar en un plan de teléfono o piratear el sitio web de una aerolínea para comprar un billete de avión.
Actualmente, existen varios benchmarks que miden las habilidades de los modelos de IA para escribir código, realizar razonamientos lógicos y aprobar exámenes de medicina y derecho. Sin embargo, no hay una métrica que mida si la IA hace lo que el usuario realmente desea. Los investigadores están trabajando para llenar este vacío y destacan la necesidad de esta medición para la confiabilidad de los agentes de IA.