Neurális hálózati teljesítmény optimalizálása CANN SDK-val Képzés

A CANN optimalizálási képességeinek áttekintése

• Hogyan kezeli a CANN az inferencia teljesítményét
• Optimalizálási célok edge és beágyazott AI-rendszerek esetén
• Az AI Core kihasználtság és a memóriafoglalás megértése

A Graph Engine használata elemzéshez

• A Graph Engine és a végrehajtási folyamat bemutatása
• Operátorgráfok és futásidejű metrikák vizualizálása
• Számítási gráfok módosítása optimalizálás céljából

Profilozó eszközök és teljesítménymetrikák

• A CANN Profiling Tool (profiler) használata munkaterhelés-elemzéshez
• Kernel végrehajtási idők és szűk keresztmetszetek elemzése
• Memóriahozzáférés-profilozás és csempézési stratégiák

Egyedi operátorfejlesztés TIK-kel

• A TIK és az operátorprogramozási modell áttekintése
• Egyedi operátor megvalósítása TIK DSL használatával
• Operátorteljesítmény tesztelése és összehasonlítása

Haladó operátoroptimalizálás TVM-mel

• Bevezetés a TVM és a CANN integrációjába
• Automatikus hangolási stratégiák számítási gráfokhoz
• Mikor és hogyan váltsunk TVM és TIK között

Memóriaoptimalizálási technikák

• Memóriaelrendezés és pufferelhelyezés kezelése
• Technikák az on-chip memóriafogyasztás csökkentésére
• Bevált gyakorlatok az aszinkron végrehajtáshoz és újrafelhasználáshoz

Valós telepítés és esettanulmányok

• Esettanulmány: teljesítményhangolás okosvárosi kamerafolyamathoz
• Esettanulmány: autonóm jármű inferencia-verem optimalizálása
• Irányelvek az iteratív profilozáshoz és a folyamatos fejlesztéshez

Összefoglalás és következő lépések