Kurzusleírás

Bevezetés

  • A mély tanulási skálázással kapcsolatos kihívások áttekintése
  • A DeepSpeed és funkcióinak áttekintése
  • DeepSpeed vs. más elosztott mély tanulási könyvtárak

Elkezdeni

  • A fejlesztői környezet kialakítása
  • A PyTorch és a DeepSpeed telepítése
  • A DeepSpeed konfigurálása elosztott edzéshez

DeepSpeed optimalizálási funkciók

  • DeepSpeed edzési csővezeték
  • ZeRO (memória optimalizálás)
  • Aktiválási ellenőrzőpont
  • Gradiens ellenőrzőpont
  • Csővezeték párhuzamosság

Modellek méretezése a DeepSpeed funkcióval

  • Alapszintű méretezés a DeepSpeed használatával
  • Fejlett skálázási technikák
  • Teljesítménymegfontolások és legjobb gyakorlatok
  • Hibakeresési és hibaelhárítási technikák

Speciális DeepSpeed témák

  • Fejlett optimalizálási technikák
  • A DeepSpeed használata vegyes precíziós edzéssel
  • DeepSpeed különböző hardvereken (pl. GPUs, TPU-k)
  • DeepSpeed több képzési csomóponttal

A DeepSpeed integrálása a Py-velTorch

  • A DeepSpeed integrálása PyTorch munkafolyamatokkal
  • A DeepSpeed használata a PyTorch Lightning segítségével

Hibaelhárítás

  • Gyakori DeepSpeed-problémák hibakeresése
  • Monitoring és naplózás

Összegzés és a következő lépések

  • Összefoglaló a legfontosabb fogalmakról és jellemzőkről
  • A DeepSpeed termelésben való használatának legjobb gyakorlatai
  • További források a DeepSpeed további megismeréséhez

Követelmények

  • A mélytanulási elvek középfokú ismerete
  • PyTorch vagy hasonló mély tanulási keretrendszerrel szerzett tapasztalat
  • Python programozás ismerete

Közönség

  • Adattudósok
  • Gépi tanulási mérnökök
  • Fejlesztők
 21 Hours

Résztvevők száma



Ár per résztvevő

Rokon tanfolyam

Rokon kategóriák