Liquid AI presentó la serie LFM2.5-Encoder, modelos codificadores rápidos y eficientes para tareas de comprensión de textos largos. Estos modelos funcionan 3.7 veces más rápido que ModernBERT en CPU y pueden procesar textos de hasta 8.192 tokens. Los modelos muestran un rendimiento competitivo en benchmarks como GLUE y SuperGLUE frente a modelos más grandes.
Los modelos LFM2.5-Encoder pasaron por un entrenamiento de dos etapas: primero en textos cortos para habilidades generales del lenguaje, luego en textos largos para especialización. Estos modelos fueron entrenados con un 30% de tokens enmascarados y equipados con un mecanismo de atención bidireccional. Los modelos se ofrecen en dos variantes con 230M y 350M parámetros.
Liquid AI también presentó diversas aplicaciones demo utilizando estos modelos. Entre ellas se incluyen orientación con cero ejemplos, control de políticas, corrección ortográfica, detección de información personal y generación de texto. Los modelos están disponibles para descarga en Hugging Face y listos para usar.