Ai2 araştırmacıları ICLR 2026 hakem değerlendirmelerinden çıkarılan 154 yüksek yenilikli ve 145 düşük yenilikli insan yazılı fikirle, aynı sayıda LLM üretilmiş fikri eşleştirerek altı farklı LLM yargıcını (GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6) test etti.
Sonuçlar, yenilik yargılamasının son derece kırılgan olduğunu gösterdi: GPT-5.4'te istemdeki küçük bir değişiklik, AI üretilmiş fikirlerde doğruluğu %93.5'ten %40.9'a düşürürken, insan yazılı fikirlerdeki etki yaklaşık yedi puanla sınırlı kaldı.
Ek arama ve artırılmış reasoning süresi (GPT-5.6 Sol) performansı artırmadı; aksine basit bir Claude Opus 4.6 istemi, özel olarak tasarlanmış Idea Novelty Checker ve Sakana AI Scientist sistemlerinden hem daha doğru hem de onlarca kat daha ucuz çıktı.