2014'te University of Montreal laboratuvarında stajyer olan Belaruslı Dzmitry Bahdanau, İngilizce cümleleri Fransızca çevirirken neural network'ların uzun cümlelerde başarısızlığını tetikleyen bellek sıkığını aşmak için 'attention' (dikkat) matematiksel işlemi icat etti. Bu mekanizma, her bir kelimenin çevirisini knowledgeable ederken cümledeki diğer kelimelerle ilişkisini değerlendirerek bağlamı anlamayı sağladı. 2017'de Google ekibi, attention'ı superçeken transformer mimarisiyle 'Attention Is All You Need' adlı çalışmasını yayınladı; bu makale 250.000'den fazla alıntı toplamış ve dil modellerinin patlamasını tetikledi.
Attention mekanizması, 'it' gibi belirsiz zamirleri bağlam üzerinden çözerek; her bir kelimenin 'query', 'key' ve 'value' vektörlerini oluşturup birbirleriyle kıyaslayarak bağlamı matematiksel olarak kodlar.
Bu yoluyla dil modelleri, çeviri ve metin üretimi gibi görevlerde insan seviyesine yakın performans sergilemiş ve 'AI-complete' olarak adlandırılan dil tahmini görevinin, matematik, tarih ve gerçek bilgi bilincini de kapsadığını ortaya koymuş.