Yapay Analysis ile ortaklıkta geliştirilen MKA (Multimodal Knowledge Agent) benchmarkı, görsel dosyalar üzerindeki gerçek dünya bilgi işi görevlerinde akıl yürütme yeteneğini ölçmek için tanıtıldı. Günlük profesyonel çalışma görsel olduğu için metin odaklı benchmarklar yetersiz kalıyor; MKA, mimari planlar, mühendislik şemalarını ve raporları değerlendirme yeteneğini ölçer. 10 farklı sektör ve 83 mesleği kapsayan 200 görevlik değerlendirme seti ile profesyonel süreçler benzetildi.
Görevler üç saat ile sekiz saat arasında sürer ve faktik doğruluk %75, görsel tasarım %25 oranında ağırlıklandırılmış yaklaşık 70 evet/hayır kontrolünden oluşuyor. Yapay zeka modelleri arasında büyük verim farkı görülüyor; aynı görevlerde 30 ile 130 arasında ortalama döngü sayısı farkı gözlemleniyor.
Görsel algı yetenekleri görev çözümü için kritik öneme sahip iken, vizyonu kaldırarak modellerin nasıl başarısız olduğu da gösteriliyor. Gemini 4 Carbon, test edilen modeller arasında ikinci konumda iken, en yüksek puan alıcı modele göre ortalama %83 maliyet avantajı sağlıyor ve kalite ve fiyat dengeyi (pareto frontier) oluşturuyor.