Kurzusleírás
Bevezetés az Apache Airflow-ba
- Mi a munkafolyamat-összehangolás?
- Az Apache Airflow főbb jellemzői és előnyei
- Az Airflow 2.x fejlesztései és az ökoszisztéma áttekintése
Architektúra és alapfogalmak
- Ütemező, webkiszolgáló és munkafolyamatok
- DAG-ok, feladatok és operátorok
- Végrehajtók és háttérrendszerek (Local, Celery, Kubernetes)
Telepítés és beállítás
- Az Airflow telepítése helyi és felhőkörnyezetekben
- Az Airflow konfigurálása különböző végrehajtókkal
- Metaadat-adatbázisok és kapcsolatok beállítása
Navigálás az Airflow felhasználói felületén és parancssori felületén
- Az Airflow webes felületének felfedezése
- DAG-futtatások, feladatok és naplók megfigyelése
- Az Airflow parancssori felületének használata adminisztrációhoz
DAG-ok létrehozása és kezelése
- DAG-ok létrehozása a TaskFlow API-val
- Operátorok, szenzorok és hookok használata
- Függőségek és ütemezési időközök kezelése
Az Airflow integrálása adat- és felhőszolgáltatásokkal
- Kapcsolódás adatbázisokhoz, API-khoz és üzenetsorokhoz
- ETL-csatornák futtatása az Airflow-val
- Felhőintegrációk: AWS-, GCP-, Azure-operátorok
Megfigyelés és megfigyelhetőség
- Feladatnaplók és valós idejű megfigyelés
- Metrikák a Prometheus és a Grafana segítségével
- Riasztások és értesítések e-mailben vagy Slacken
Az Apache Airflow védelme
- Szerepalapú hozzáférés-vezérlés (RBAC)
- Hitelesítés LDAP, OAuth és SSO segítségével
- Titkos kulcsok kezelése a Vault és felhőalapú titkosítótárak segítségével
Az Apache Airflow skálázása
- Párhuzamosság, egyidejűség és feladatsorok
- A CeleryExecutor és a KubernetesExecutor használata
- Az Airflow telepítése Kubernetesre Helm segítségével
Legjobb gyakorlatok éles környezetben
- Verziókezelés és CI/CD a DAG-okhoz
- DAG-ok tesztelése és hibakeresése
- Megbízhatóság és teljesítmény fenntartása nagy léptékben
Hibaelhárítás és optimalizálás
- Sikertelen DAG-ok és feladatok hibakeresése
- A DAG-teljesítmény optimalizálása
- Gyakori buktatók és elkerülésük
Összefoglalás és következő lépések
Követelmények
- Python programozási tapasztalat
- Adatmérnöki vagy DevOps-fogalmak ismerete
- Az ETL vagy a munkafolyamat-összehangolás megértése
Célközönség
- Adattudósok
- Adatmérnökök
- DevOps- és infrastruktúra-mérnökök
- Szoftverfejlesztők
Vélemények (7)
Az oktató az edzést a résztvevők szintjéhez igazította és válaszolt az összes kérdésre. Nagyon kommunikatív volt, és könnyű volt kapcsolatba lépni vele. Nagyon értékeltem az edzés formátumát, amely számos gyakorlati feladatot tartalmazott. Összességében nagyon érdekes és jól megtervezett munkamenet volt.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurzus - Apache Airflow: Building and Managing Data Pipelines
Gépi fordítás
A tanfolyam tökéletes volt. Nagyon hasznos elmélet és gyakorlati feladatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden tekintetben pont illető volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden szempontból pontos volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden tekintetben pont illető volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden tekintetben megfelelő volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden tekintetben megfelelő volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
