Kurzusleírás
Bevezetés
- A mélytanulás skálázási kihívásainak áttekintése
- A DeepSpeed és funkcióinak áttekintése
- A DeepSpeed összehasonlítása más elosztott mélytanulási könyvtárakkal
Bevezetés
- A fejlesztői környezet beállítása
- A PyTorch és a DeepSpeed telepítése
- A DeepSpeed konfigurálása elosztott képzéshez
DeepSpeed optimalizációs funkciók
- A DeepSpeed képzési folyamata
- ZeRO (memóriaoptimalizálás)
- Aktivációs ellenőrzőpontok
- Gradiens ellenőrzőpontok
- Csővezeték-párhuzamosítás
Modellek skálázása a DeepSpeed-del
- Alapszintű skálázás a DeepSpeed segítségével
- Haladó skálázási technikák
- Teljesítményfontosságú szempontok és ajánlott eljárások
- Hibakeresési és hibaelhárítási technikák
Haladó DeepSpeed témák
- Haladó optimalizációs technikák
- A DeepSpeed használata vegyes pontosságú képzésben
- A DeepSpeed különböző hardvereken (pl. GPU, TPU)
- A DeepSpeed több képzési csomóponton
A DeepSpeed integrálása a PyTorch-val
- A DeepSpeed integrálása PyTorch munkafolyamatokba
- A DeepSpeed használata a PyTorch Lightning-nal
Hibaelhárítás
- Gyakori DeepSpeed hibák hibakeresése
- Monitorozás és naplózás
Összefoglalás és következő lépések
- A kulcsfogalmak és funkciók összefoglalása
- Ajánlott eljárások a DeepSpeed használatához éles környezetben
- További források a DeepSpeed-ről való tanuláshoz
Követelmények
- Középszintű ismeretek a mélytanulás alapelveiről
- Tapasztalat a PyTorch vagy hasonló mélytanulási keretrendszerek használatában
- Ismeret a Python programozásban
Célközönség
- Adattudósok
- Gépi tanulási mérnökök
- Fejlesztők
Vélemények (3)
Nagyon tetszett, hogy időt szántunk a CHAT GPT-vel való játszozgatásra. A terem ebben az esetben nem volt a legmegfelelőbb - helyette egy nagy asztalra több kisebb asztalt kellett volna beállítani, így csoportokban lehettünk volna, és ötletekkel gondolkodhattunk volna.
Nola - Laramie County Community College
Kurzus - Artificial Intelligence (AI) Overview
Gépi fordítás
Fókuszált munka az első elvekből indulva, majd ugyanabból a naptól esettanulmányok alkalmazásához való átmenet
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurzus - Artificial Neural Networks, Machine Learning, Deep Thinking
Gépi fordítás
Úgy tűnt, hogy a releváns információkat megfelelő ütemben vittük át (azaz nem volt anyag, ami csak kitöltő szerepet játszott).
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurzus - Introduction to the use of neural networks
Gépi fordítás