Google, Microsoft, OpenAI ve Anthropic, web sitesi operatörlerinin robots.txt dosyası aracılığıyla AI eğitimi için veri toplama iznini tek bir ortak standartla belirleyebilmesini sağlayacak bir spesifikasyon geliştirdiğini duyurdu.
Bu girişim, şu anda her AI şirketi için ayrı ayrı yönetilmesi gereken crawler kurallarının, paylaşılan 'policy token' mekanizmasıyla tek bir dosyadan kontrol edilmesini hedefliyor.
Standardizasyon çalışmaları IETF'nin AI Preferences çalışma grubunda yürütülüyor ve 2027 yılında devreye girmesi planlanıyor.