Kurzusleírás

Az Apache Airflow alapjainak áttekintése

  • Alapfogalmak: DAG-ok, operátorok és végrehajtási folyamat
  • Airflow architektúra és komponensek
  • Fejlett használati esetek és munkafolyamatok megértése

Egyéni Operátorok Létrehozása

  • Az Airflow operátorok anatómiájának megértése
  • Egyéni operátorok fejlesztése specifikus feladatokhoz
  • Egyéni operátorok tesztelése és hibakeresése

Egyéni Hookok és Szenzorok

  • Hookok implementálása külső rendszerek integrálásához
  • Szenzorok létrehozása külső események monitorozásához
  • Munkafolyamat interaktivitásának növelése egyéni szenzorokkal

Airflow Pluginok Fejlesztése

  • A plugin architektúra megértése
  • Pluginok tervezése az Airflow funkcionalitás bővítése érdekében
  • Legjobb gyakorlatok a pluginok kezeléséhez és üzembe helyezéséhez

Airflow Integráció Külső Rendszerekkel

  • Airflow csatlakoztatása adatbázisokhoz, API-khoz és felhőszolgáltatásokhoz
  • Airflow használata ETL munkafolyamatokhoz és valós idejű adatfeldolgozáshoz
  • Függőségek kezelése az Airflow és külső rendszerek között

Fejlett Hibakeresés és Monitorozás

  • Airflow naplók és metrikák használata hibaelhárításhoz
  • Értesítések és figyelmeztetések beállítása munkafolyamat problémákra
  • Külső monitorozó eszközök használata Airflow-val

Teljesítmény- és Skálázhatóság Optimalizálása

  • Airflow skálázása Celery és Kubernetes Executorokkal
  • Erőforrás-használat optimalizálása komplex munkafolyamatokban
  • Magas rendelkezésre állás és hibaelhárítási stratégiák

Esettanulmányok és Valódi Alkalmazások

  • Fejlett használati esetek feltárása adatmérnöki és DevOps területeken
  • Esettanulmány: Egyéni operátor implementálása nagyméretű ETL-hez
  • Legjobb gyakorlatok vállalati szintű munkafolyamatok kezeléséhez

Összefoglalás és Következő Lépések

Követelmények

  • Mélyreható ismeret az Apache Airflow alapjairól, beleértve a DAG-okat, operátorokat és végrehajtási architektúrát
  • Python programozási ismeretek
  • Tapasztalat adatrendszerek integrálásában és munkafolyamatok összehangolásában

Célközönség

  • Adatmérnökök
  • DevOps mérnökök
  • Szoftverarchitektusok
 21 Órák

Résztvevők száma


Ár per résztvevő

Vélemények (1)

Közelgő kurzusok

Rokon kategóriák