Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Bevezetés
- A mély tanulási skálázással kapcsolatos kihívások áttekintése
- A DeepSpeed és funkcióinak áttekintése
- DeepSpeed vs. más elosztott mély tanulási könyvtárak
Kezdő lépések
- A fejlesztői környezet kialakítása
- A PyTorch és a DeepSpeed telepítése
- A DeepSpeed konfigurálása elosztott edzéshez
DeepSpeed optimalizálási funkciók
- DeepSpeed edzési csővezeték
- ZeRO (memória optimalizálás)
- Aktiválási ellenőrzőpont
- Gradiens ellenőrzőpont
- Csővezeték párhuzamosság
Modellek méretezése a DeepSpeed funkcióval
- Alapszintű méretezés a DeepSpeed használatával
- Fejlett méretezési technikák
- Teljesítménymegfontolások és legjobb gyakorlatok
- Hibakeresési és hibaelhárítási technikák
Speciális DeepSpeed témák
- Fejlett optimalizálási technikák
- A DeepSpeed használata vegyes precíziós edzéssel
- DeepSpeed különböző hardvereken (pl. GPUs, TPU-k)
- DeepSpeed több képzési csomóponttal
A DeepSpeed integrálása a Py-velTorch
- A DeepSpeed integrálása PyTorch munkafolyamatokkal
- A DeepSpeed használata a PyTorch Lightning segítségével
Hibaelhárítás
- Gyakori DeepSpeed-problémák hibakeresése
- Monitoring és naplózás
Összegzés és a következő lépések
- Összefoglaló a legfontosabb fogalmakról és jellemzőkről
- A DeepSpeed termelésben való használatának legjobb gyakorlatai
- További források a DeepSpeed további megismeréséhez
Követelmények
- A mélytanulási elvek középfokú ismerete
- PyTorch vagy hasonló mély tanulási keretrendszerrel szerzett tapasztalat
- Ismerkedés a Python programozással
Közönség
- Adattudósok
- Gépi tanulási mérnökök
- Fejlesztők
21 Órák
Vélemények (2)
A szervezet a javasolt napirend szerint, a tréner hatalmas tudása ezen a területen
Ali Kattan - TWPI
Kurzus - Natural Language Processing with TensorFlow
Gépi fordítás
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Kurzus - TensorFlow for Image Recognition
Gépi fordítás