Google、Microsoft、OpenAI、Anthropicは、ウェブサイト運営者がrobots.txtファイルを通じてAI学習のためのデータ収集許可を単一の共通標準で指定できる仕様を開発したと発表した。

この取り組みは、現在各AI企業ごとに個別に管理する必要があるクローラー規則を、共有の「ポリシートークン」メカニズムにより単一ファイルから制御できるようにすることを目的としている。

標準化作業はIETFのAI Preferencesワーキンググループで進められており、2027年に施行される予定。