Kurzusleírás

Performance fogalmai és mértékek
  • Latencia, átviteli sebesség, energiafogyasztás, erőforrás-használat
  • Rendszer- vs modellszintű kacsok
  • Inferencia vs. tanítási profilozás

Huawei Ascend-on történő profilozás

  • CANN Profiler és MindInsight használata
  • Mag és operátor diagnosztika
  • Letöltési minták és memórialeképezés

Biren GPU-on történő profilozás

  • Biren SDK teljesítmény-monitorozási funkciói
  • Mag-fúzió, memória-igazítás és végrehajtási sorok
  • Energia- és hőmérséklet-érzékeny profilozás

Cambricon MLU profilozása

  • BANGPy és Neuware teljesítményeszközök
  • Magszintű láthatóság és naplóinterpretáció
  • MLU profilozó integráció telepítési keretekkel

Grafikus és modellszintű optimalizálás

  • Gráf vágás és kvantizálási stratégiák
  • Operátor-fúzió és számítási grafikus átszervezés
  • Bevitelméret szabványosítása és csomagfinomítás

Memória és mag optimalizálása

  • Memóriamegosztás és újrahasználat optimalizálása
  • Hatékony pufferkezelés csipcsoportok között
  • Platformonkénti magszintű finomítási technikák

Platformfüggetlen legjobb gyakorlatok

  • Teljesítmény-portálitás: absztrakciós stratégiák
  • Tunel-piplájok építése több csipesz környezetben
  • Példa: objektumfelismerő modell finomítása Ascend, Biren és MLU között

Összegzés és következő lépések

Követelmények

  • Kis tapasztalata van AI-modell-kiképzési vagy telepítési folyamatokkal
  • Ismeri a GPU/MLU számítási elveket és modelloptimalizációt
  • Általános ismerete van a teljesítményprofilozási eszközöknek és metrikáinak

Célközönség

  • Teljesítmény mérnökök
  • Gépes tanítási infrastruktúra csapatok
  • AI-rendszer architekták
 21 Órák

Résztvevők száma


Ár résztvevőnként

Közelgő kurzusok

Rokon kategóriák