Liquid AIがLFM2.5-Encoderシリーズを発表した。このモデルは長文理解タスクで高速かつ効率的に動作し、CPU上でModernBERTの3.7倍の速度で動作する。8,192トークンの長文を処理可能で、GLUEやSuperGLUEなどのベンチマークで大規模モデルと競合する性能を示している。

LFM2.5-Encoderモデルは2段階のトレーニングを経ている。まず短文で一般的な言語能力を習得し、その後長文で特化したトレーニングを受ける。30%のトークンがマスクされた状態でトレーニングされ、双方向のアテンションメカニズムを備えている。230Mと350Mのパラメータを持つ2つのバリエーションが提供される。

Liquid AIはこのモデルを使用した様々なデモアプリケーションも公開した。ゼロショット指示遂行、ポリシー制御、スペルチェック、個人情報検出、テキスト生成などが含まれる。モデルはHugging Faceからダウンロード可能で、即時利用可能。