Irene Solaiman, Hugging Face'in chief policy officer'ü TechCrunch Disrupt'ta model benchmarking yöntemlerinin karmaşık ve yetişen bir alandığını belirterek, testlerin tekrarlanabilirliğinin güvenilirlik için kritik bir faktör olduğunu söyledi. Solaiman, değerlendirmelerin tek tek geçerliliği dışında farklı testlerin birbirine kıyaslanamaması sorununun de farkında olduğunu vurguladı.
Özellikle 'embedded evaluator' kavgaları, AI laboratuvarları içinde güvenlik endişeleri ve tarafsızlık sorularıyla birlikte popülerlik kazanmış olsa da, değerlendirmenin kimler tarafından ve hangi görevlerde etkili olacağı konusunda standartlaşma ihtiyacı hala eksik.
Solaiman, değerlendirmelerin sadece modeli değil, modeli çevreleyen bütün sistem - harness ve agent'ı da kapsayacağıvı vurgulayarak, agentic evaların geliştirilmesi zor ve maliyetli olduğunu belirterek, bu alanda daha uniform ve industry-wide bir yaklaşımın gerekliliğini vurguladı.