OpenAI, dünyanın en zor matematik problemlerinden 719'unu bu hafta açıkladığında, Advisory Group on Mathematics and Artificial Intelligence (AGMAI) standartlarına uygun olarak elitesi danışanlar halinde buluyor. Ancak şirket, matematik sonuçlarının insanların anlaşılması gerektiği vurgusundan ötürü yeterince zincir-of-oluşturma serbest bırakmadı; 719 metinten sadece 10'u modelin zincir-of-oluşturma yayınını içeriyor. Matematikçiler, sonuçların formalize edilmesi gerektiğini savundu ancak OpenAI'nın yayınları sadece %42'si formalize edilmiş.
Princeton Üniversitesi ve AGMAI, modellerin kendi çözümlerini otomatize formalize etmesini istedi ancak OpenAI bunu yapmadı; bu da sonuçların güvenilirliğini sorguluyor. Cambridge ve King's College London matematikçileri, modellerin doğal dil açıklamalarını Lean koda çevirirken 'lost in translation' hataları yaşadığını, özellikle Navier-Stokes denklemleri türetilmiş bir problemde iki ayrışma bulunduğunu belirtti.
Bu eksiklikler çözümü iptal etmeyebilir ama modellerin insan müdahalesi olmadan kendi çözümlerini formalize etmesini güvenilir kılmaz. AGMAI, OpenAI'yi insan matematikçilerini desteklemek için fonlamayı sağlamaya teşvik ediyor; modeller 'solved' dedikten sonra alanı ilgilendirmeden promtlar veren kişilerle sonuçların anlaşılması sorun