NVIDIA ve IIT Madras'ın AI4Bharat laboratuvarı, Hint Anayasası'nda yer alan 22 dil için yaklaşık 2,8 trilyon tokenlik Nemotron-pretraining-Indic-v1 veri setini ve bunu oluşturan açık kaynaklı veri üretim hattını (pipeline) yakında yayınlayacak.
Veri seti, 2011 sayımına göre Hint nüfusunun %97'sinin ana dili olan bu dillerde, matematik, kod ve soru-cevap içeriği de içeren geniş bir İngilizce materyal havuzundan çeviri yoluyla elde edilmiş sentetik verilerden oluşuyor.
Her kayıt, kaynak belgesine geri izlenebilir ve çıktılar girişlerle karşılaştırılarak doğrulanıyor.