Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kurzusleírás
Bevezetés
- A mély tanulási skálázással kapcsolatos kihívások áttekintése
- A DeepSpeed és funkcióinak áttekintése
- DeepSpeed vs. más elosztott mély tanulási könyvtárak
Elkezdeni
- A fejlesztői környezet kialakítása
- A PyTorch és a DeepSpeed telepítése
- A DeepSpeed konfigurálása elosztott edzéshez
DeepSpeed optimalizálási funkciók
- DeepSpeed edzési csővezeték
- ZeRO (memória optimalizálás)
- Aktiválási ellenőrzőpont
- Gradiens ellenőrzőpont
- Csővezeték párhuzamosság
Modellek méretezése a DeepSpeed funkcióval
- Alapszintű méretezés a DeepSpeed használatával
- Fejlett skálázási technikák
- Teljesítménymegfontolások és legjobb gyakorlatok
- Hibakeresési és hibaelhárítási technikák
Speciális DeepSpeed témák
- Fejlett optimalizálási technikák
- A DeepSpeed használata vegyes precíziós edzéssel
- DeepSpeed különböző hardvereken (pl. GPUs, TPU-k)
- DeepSpeed több képzési csomóponttal
A DeepSpeed integrálása a Py-velTorch
- A DeepSpeed integrálása PyTorch munkafolyamatokkal
- A DeepSpeed használata a PyTorch Lightning segítségével
Hibaelhárítás
- Gyakori DeepSpeed-problémák hibakeresése
- Monitoring és naplózás
Összegzés és a következő lépések
- Összefoglaló a legfontosabb fogalmakról és jellemzőkről
- A DeepSpeed termelésben való használatának legjobb gyakorlatai
- További források a DeepSpeed további megismeréséhez
Követelmények
- A mélytanulási elvek középfokú ismerete
- PyTorch vagy hasonló mély tanulási keretrendszerrel szerzett tapasztalat
- Python programozás ismerete
Közönség
- Adattudósok
- Gépi tanulási mérnökök
- Fejlesztők
21 Hours