Los investigadores han desarrollado StateBench para evaluar la capacidad de los modelos lingüísticos en el seguimiento de estados en contextos largos; este test mide la habilidad de actualización de estados en cuatro niveles de dificultad: R-trivial, aperiódico, resoluble y generalmente finito, basándose en asignaciones de variables. La evaluación se fundamenta teóricamente en la teoría de Krohn–Rhodes, que postula que los transformadores teóricamente fallarán en el nivel más difícil, mientras que arquitecturas híbridas como Gated DeltaNet podrán gestionar todos los niveles.