Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Az Apache Airflow alapjainak áttekintése
- Alapfogalmak: DAG-ok, operátorok és végrehajtási folyamat
- Airflow architektúra és komponensek
- Fejlett használati esetek és munkafolyamatok megértése
Egyéni Operátorok Létrehozása
- Az Airflow operátorok anatómiájának megértése
- Egyéni operátorok fejlesztése specifikus feladatokhoz
- Egyéni operátorok tesztelése és hibakeresése
Egyéni Hookok és Szenzorok
- Hookok implementálása külső rendszerek integrálásához
- Szenzorok létrehozása külső események monitorozásához
- Munkafolyamat interaktivitásának növelése egyéni szenzorokkal
Airflow Pluginok Fejlesztése
- A plugin architektúra megértése
- Pluginok tervezése az Airflow funkcionalitás bővítése érdekében
- Legjobb gyakorlatok a pluginok kezeléséhez és üzembe helyezéséhez
Airflow Integráció Külső Rendszerekkel
- Airflow csatlakoztatása adatbázisokhoz, API-khoz és felhőszolgáltatásokhoz
- Airflow használata ETL munkafolyamatokhoz és valós idejű adatfeldolgozáshoz
- Függőségek kezelése az Airflow és külső rendszerek között
Fejlett Hibakeresés és Monitorozás
- Airflow naplók és metrikák használata hibaelhárításhoz
- Értesítések és figyelmeztetések beállítása munkafolyamat problémákra
- Külső monitorozó eszközök használata Airflow-val
Teljesítmény- és Skálázhatóság Optimalizálása
- Airflow skálázása Celery és Kubernetes Executorokkal
- Erőforrás-használat optimalizálása komplex munkafolyamatokban
- Magas rendelkezésre állás és hibaelhárítási stratégiák
Esettanulmányok és Valódi Alkalmazások
- Fejlett használati esetek feltárása adatmérnöki és DevOps területeken
- Esettanulmány: Egyéni operátor implementálása nagyméretű ETL-hez
- Legjobb gyakorlatok vállalati szintű munkafolyamatok kezeléséhez
Összefoglalás és Következő Lépések
Követelmények
- Mélyreható ismeret az Apache Airflow alapjairól, beleértve a DAG-okat, operátorokat és végrehajtási architektúrát
- Python programozási ismeretek
- Tapasztalat adatrendszerek integrálásában és munkafolyamatok összehangolásában
Célközönség
- Adatmérnökök
- DevOps mérnökök
- Szoftverarchitektusok
21 Órák
Vélemények (1)
Az oktató az edzést a résztvevők szintjéhez igazította és válaszolt az összes kérdésre. Nagyon kommunikatív volt, és könnyű volt kapcsolatba lépni vele. Nagyon értékeltem az edzés formátumát, amely számos gyakorlati feladatot tartalmazott. Összességében nagyon érdekes és jól megtervezett munkamenet volt.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurzus - Apache Airflow: Building and Managing Data Pipelines
Gépi fordítás