Kurzusleírás

Teljesítményfogalmak és metrikák

  • Késleltetés, átviteli sebesség, energiafogyasztás, erőforrás-kihasználtság
  • Rendszer vs modell-szintű szűk keresztmetszetek
  • Profilozás következtetés vs betanítás során

Profilozás a Huawei Ascend-en

  • A CANN Profiler és MindInsight használata
  • Mag- és operátor diagnosztika
  • Offload minták és memóriatérképezés

Profilozás a Biren GPU-n

  • A Biren SDK teljesítményfigyelő funkciói
  • Magfúzió, memóriaigazítás és végrehajtási sorok
  • Energia- és hőmérséklet-figyelő profilozás

Profilozás a Cambricon MLU-n

  • A BANGPy és Neuware teljesítményeszközök
  • Mag-szintű láthatóság és naplóértelmezés
  • MLU profilozó integráció a telepítési keretrendszerekhez

Grafikon és Modell-Szintű Optimalizálás

  • Grafikon nyesés és kvantálási stratégiák
  • Operátor fúzió és számítási gráf átstrukturálás
  • Bemeneti méret szabványosítás és köteg hangolás

Memória és Mag Optimalizálás

  • Memórialayout és újrafelhasználás optimalizálása
  • Hatékony pufferkezelés a chipkészletek között
  • Mag-szintű hangolási technikák platformonként

Keresztplatformos Ajánlott Gyakorlatok

  • Teljesítmény hordozhatóság: absztrakciós stratégiák
  • Közös hangolási folyamatok kialakítása több chipes környezetekhez
  • Példa: egy objektumdetektáló modell hangolása az Ascend, Biren és MLU platformokon

Összefoglalás és Következő Lépések

Követelmények

  • Tapasztalat AI modell betanítási vagy telepítési folyamatokkal
  • GPU/MLU számítási elvek és modelloptimalizálás ismerete
  • Alapfokú ismeret a teljesítményprofilozó eszközökről és metrikákról

Közönség

  • Teljesítménymérnökök
  • Gépi tanulási infrastruktúra csapatok
  • AI rendszerarchitektusok
 21 Órák

Résztvevők száma


Ár per résztvevő

Közelgő kurzusok

Rokon kategóriák