Coalition for Language Equity in AI Research tarafından yayımlanan çalışma, popüler 20 dil bile olsa token kullanımında 1,5 ile 5 kat arası fark olduğunu ve 200 dile genişletildiğinde bu boşluğun bir modelde 17 kata çıktığını tespit etti.

Araştırmacılar buna gizli bir 'tokenizer vergisi' diyeceklerini ve bu verginin maliyetin ötesinde gecikmeyi artırıp etkili bağlam penceresini daralttığını belirtti.

Bu cezalar, işlem gücü ve bağlantı zaten kısıtlı olan bölgeleri en çok vuruyor.