Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Összefoglaló Apache Airflow Fundamentals
- Alapfogalmak: DAG-ok, operátorok és végrehajtási folyamat
- Légáramlás architektúra és alkatrészek
- A speciális használati esetek és munkafolyamatok megértése
Egyéni operátorok létrehozása
- Egy Airflow operátor anatómiájának megértése
- Egyedi operátorok fejlesztése meghatározott feladatokhoz
- Egyéni operátorok tesztelése és hibakeresése
Egyedi horgok és érzékelők
- Megvalósító horgok külső rendszerintegrációhoz
- Érzékelők létrehozása külső triggerek figyelésére
- A munkafolyamatok interaktivitásának fokozása egyedi érzékelőkkel
Airflow beépülő modulok fejlesztése
- A bővítmény architektúrájának megértése
- Beépülő modulok tervezése az Airflow funkcionalitásának bővítésére
- A beépülő modulok kezelésének és telepítésének legjobb gyakorlatai
A légáramlás integrálása külső rendszerekkel
- Az Airflow összekapcsolása adatbázisokkal, API-kkal és felhőszolgáltatásokkal
- Az Airflow használata ETL-munkafolyamatokhoz és valós idejű adatfeldolgozáshoz
- Az Airflow és a külső rendszerek közötti függőségek kezelése
Speciális hibakeresés és figyelés
- Airflow naplók és mérőszámok használata hibaelhárításhoz
- Riasztások és értesítések konfigurálása munkafolyamat-problémákkal kapcsolatban
- Külső felügyeleti eszközök kihasználása az Airflow-val
A teljesítmény és Scalaképesség optimalizálása
- Légáramlás skálázása zellerrel és Kubernetes végrehajtókkal
- Az erőforrás-kihasználás optimalizálása összetett munkafolyamatokban
- Stratégiák a magas rendelkezésre állás és a hibatűrés érdekében
Esettanulmányok és valós alkalmazások
- Speciális felhasználási esetek feltárása az adattechnikában és DevOps
- Esettanulmány: Egyedi operátor megvalósítása nagyszabású ETL-hez
- A vállalati szintű munkafolyamatok kezelésének legjobb gyakorlatai
Összegzés és a következő lépések
Követelmények
- Az alapok Apache Airflow alapos ismerete, beleértve a DAG-okat, az operátorokat és a végrehajtási architektúrát
- Jártasság Python programozásban
- Adatrendszerek integrációjában és munkafolyamatok irányításában szerzett tapasztalat
Közönség
- Adatmérnökök
- DevOps mérnökök
- Szoftver építészek
21 Órák
Vélemények (1)
Az oktató az edzést a résztvevők szintjéhez igazította és válaszolt az összes kérdésre. Nagyon kommunikatív volt, és könnyű volt kapcsolatba lépni vele. Nagyon értékeltem az edzés formátumát, amely számos gyakorlati feladatot tartalmazott. Összességében nagyon érdekes és jól megtervezett munkamenet volt.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurzus - Apache Airflow: Building and Managing Data Pipelines
Gépi fordítás