WorldOracle, eylem koşullu dünya modellerini (ACWM) değerlendirmek için tasarlanmış bir benchmark platformudur. Modelin öngördüğü rollout ile aynı başlangıç gözlemleri ve eylem dizisinden yola çıkarak gerçek dünya yürütülmesi ile karşılaştırılarak skorlanır. Platform, 16 Ekim 2024'ten itibaren geliştiricilere açık olarak erişime açıldı ve hem açık kilitlu hem de kapalı kaynarlı modelleri kabul eder.
Değerlendirme, robot kolunun hareketinin relatif olarak iyi tahmin edildiği ancak nesne konumlarının ve hareketlerinin gerçeklementen sapma gösterdiği ve tam operasyon dizileri boyunca performansın düşüldüğü yönünü ortaya koydu. Araştırmacılar, Princeton University, University of Texas at Austin, University of Toronto, NVIDIA ve AgiBot'un ortak çalışmasıyla geliştirilen platform, modelin başarısızlıkları doğru bir şekilde tahmin edip edemeyeceğini ölçerek geliştiricilerin zayıf noktalarını belirmesine yardımcı olur. Dünya modeli, başlangıç karesi ve eylem dizisi verildiğinde ekranda mantıklı görünen bir rollout üretebilir ancak gerçek yürütmeyle uyuşmaz; bu durumda model gösterdiği başarı aslında gerçekleşmediği ortaya çıkar.
Değerlendirme, AgiBot G2 ve YAM olmak üzere iki robot bedenini, ayrıca insan eli manipülasyonunu da kapsar. Dört görev (meyve seçme, havlu asma, su dökme ve çekm