AWS, Trainium AI çipleri üzerinde PyTorch modellerini profil etmek için TorchNeuron arka ucu ve Neuron Explorer araçlarını kullanarak sistem düzeyinde bir analiz yöntemi yayınladı. Rehber, torch.profiler'ın PrivateUse1 etkinliği ve NeuronConfig ile nasıl yapılandırılacağını, key_averages() tablosunda cihaz süresini (self_privateuse1_time_total) nasıl okuyacağını ve bir operasyonun çerçeve katmanından donanım yürütmesine nasıl izleneceğini adım adım anlatıyor.
AWS Trainium ve TorchNeuron ile sistem düzeyinde profil oluşturma: RMSNorm örneğinde birleştirme kazançları
AWS Trainium çipleri üzerinde PyTorch modellerinin performansını analiz eden bir serinin ilk bölümünde, RMSNorm işleminin üç farklı uygulamasının profil sonuçları karşılaştırıldı; birleştirilmiş (fused) çekirdekler ve torch.compile, basit PyTorch operasyonlarına göre cihaz süresini yaklaşık altı kata düşürdü.
01AWS TrainiumTorchNeuronPyTorchprofilingkernel fusiontorch.compileNeuron ExplorerRMSNorm