Yapay zekâ araştırmacıları, dönüşümcü modellerin verimliliğini artırmak için yeni yöntemler geliştiriyor. Dönüşümcü modellerin en büyük sorunlarından biri, uzun metinleri işlemek için gereken hesaplama miktarıdır. Bu sorunu çözmek için dört farklı yaklaşım öne çıkıyor: seyrek dikkat, güç tutma, bellek ve yeniden kullanım.

Dönüşümcü modellerin en temel mekanizması olan yoğun dikkat, metinlerin anlamını kodlamak için her kelimeyi diğer her kelimeyle karşılaştırır. Bu, uzun metinler için çok fazla hesaplama gerektirir. Seyrek dikkat, bu hesaplamaları azaltmak için yalnızca bazı kelime çiftlerini karşılaştırır. Subquadratic adlı startup, bu yöntemin bazı görevlerde en iyi modellerle rekabet edebileceğini iddia ediyor.

Diğer bir yaklaşım, güç tutma mekanizmasıdır. Bu yöntem, bir göreve ilişkin en önemli bilgileri saklar ve modelin izlemesi gereken veri miktarını sınırlar. Manifest AI adlı startup, bu yöntemin dönüşümcü modellerin daha büyük veri miktarlarını işlemesine olanak sağlayacağını düşünüyor.