人工知能の研究者は、変換モデルの効率を高めるために新しい方法を開発している。変換モデルの最大の問題の1つは、長いテキストを処理するために必要な計算量である。この問題を解決するために、4つの異なるアプローチが提案されている: スパースアテンション、パワー保持、メモリ、再利用。

変換モデルの最も基本的なメカニズムであるアテンションは、テキストの意味をコード化するために、各単語を他のすべての単語と比較する。これは、長いテキストに対して多くの計算を必要とする。スパースアテンションは、計算を減らすために、単語のペアを比較する。Subquadraticというスタートアップは、この方法が、一部のタスクで最も優れたモデルと競合できることを主張している。

別のアプローチは、パワー保持メカニズムである。この方法は、タスクに関連する最も重要な情報を保存し、モデルが追跡する必要のあるデータ量を制限する。Manifest AIというスタートアップは、この方法が変換モデルのより大きなデータ量を処理することを可能にすると考える。