Los investigadores de inteligencia artificial están desarrollando nuevos métodos para mejorar la eficiencia de los modelos de transformación. Uno de los principales problemas de los modelos de transformación es la cantidad de cálculos necesarios para procesar textos largos. Para resolver este problema, se destacan cuatro enfoques diferentes: atención dispersa, retención de poder, memoria y reutilización.
El mecanismo de atención intensiva, que es el mecanismo más básico de los modelos de transformación, compara cada palabra con todas las demás palabras para codificar el significado de los textos. Esto requiere una gran cantidad de cálculos para textos largos. La atención dispersa reduce estos cálculos comparando solo algunas parejas de palabras. La startup Subquadratic afirma que este método puede competir con los mejores modelos en algunas tareas.
Otro enfoque es el mecanismo de retención de poder. Este método almacena la información más importante relacionada con una tarea y limita la cantidad de datos que el modelo debe procesar. La startup Manifest AI cree que este método permitirá que los modelos de transformación procesen cantidades de datos más grandes.