Kurzusleírás

Bevezetés

  • A mélytanulás skálázási kihívásainak áttekintése
  • A DeepSpeed és funkcióinak áttekintése
  • A DeepSpeed összehasonlítása más elosztott mélytanulási könyvtárakkal

Bevezetés

  • A fejlesztői környezet beállítása
  • A PyTorch és a DeepSpeed telepítése
  • A DeepSpeed konfigurálása elosztott képzéshez

DeepSpeed optimalizációs funkciók

  • A DeepSpeed képzési folyamata
  • ZeRO (memóriaoptimalizálás)
  • Aktivációs ellenőrzőpontok
  • Gradiens ellenőrzőpontok
  • Csővezeték-párhuzamosítás

Modellek skálázása a DeepSpeed-del

  • Alapszintű skálázás a DeepSpeed segítségével
  • Haladó skálázási technikák
  • Teljesítményfontosságú szempontok és ajánlott eljárások
  • Hibakeresési és hibaelhárítási technikák

Haladó DeepSpeed témák

  • Haladó optimalizációs technikák
  • A DeepSpeed használata vegyes pontosságú képzésben
  • A DeepSpeed különböző hardvereken (pl. GPU, TPU)
  • A DeepSpeed több képzési csomóponton

A DeepSpeed integrálása a PyTorch-val

  • A DeepSpeed integrálása PyTorch munkafolyamatokba
  • A DeepSpeed használata a PyTorch Lightning-nal

Hibaelhárítás

  • Gyakori DeepSpeed hibák hibakeresése
  • Monitorozás és naplózás

Összefoglalás és következő lépések

  • A kulcsfogalmak és funkciók összefoglalása
  • Ajánlott eljárások a DeepSpeed használatához éles környezetben
  • További források a DeepSpeed-ről való tanuláshoz

Követelmények

  • Középszintű ismeretek a mélytanulás alapelveiről
  • Tapasztalat a PyTorch vagy hasonló mélytanulási keretrendszerek használatában
  • Ismeret a Python programozásban

Célközönség

  • Adattudósok
  • Gépi tanulási mérnökök
  • Fejlesztők
 21 Órák

Résztvevők száma


Ár per résztvevő

Vélemények (2)

Közelgő kurzusok

Rokon kategóriák