Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Apache Airflow bevezetése
- Miből áll a munkafolyamat koordinálás
- Az Apache Airflow főbb tulajdonságai és előnyei
- Az Airflow 2.x javításai és az ökoszisztéma áttekintése
Architektúra és alapelvek
- Scheduler, webszerver, és munkamenet folyamatok
- DAG-ok, feladatok, és operátorok
- Executorok és háttérrendszerek (Local, Celery, Kubernetes)
Telepítés és konfigurálás
- Az Airflow telepítése helyi és felhő környezetekben
- Az Airflow konfigurálása különböző executorokkal
- Metaadatbázisok és kapcsolatok beállítása
Az Airflow UI és CLI navigálása
- Az Airflow webes felület felfedezése
- DAG futások, feladatok, és naplók monitorozása
- Az Airflow CLI használata az adminisztrációhoz
DAG-ok létrehozása és kezelése
- DAG-ok létrehozása a TaskFlow API segítségével
- Operátorok, szenzorok, és hookok használata
- Függenységek és időzítési intervallumok kezelése
Az Airflow integrálása adat és felhő szolgáltatásokkal
- Adatbázisok, API-k, és üzenősorok csatlakoztatása
- ETL folyamatok futtatása Airflow-al
- Felhő integrációk: AWS, GCP, Azure operátorok
Monitorozás és megfigyelhetőség
- Feladat naplók és valós idejű monitorozás
- Metrikák Prometheus és Grafana segítségével
- Értesítések e-mail vagy Slack segítségével
Az Apache Airflow biztonságosítása
- Szerep alapú hozzáférés irányítás (RBAC)
- Hitelesítés LDAP, OAuth, és SSO segítségével
- Titkosítás a Vault és felhő titkos tárolókkal
Az Apache Airflow skalálása
- Párhuzamosítás, egyidejűség, és feladat sorok
- CeleryExecutor és KubernetesExecutor használata
- Airflow telepítése Kubernetes-en Helm segítségével
Best practices a termelési környezetben
- Verziókontroll és CI/CD a DAG-okhoz
- DAG-ok tesztelése és hibakeresése
- Biztonság és teljesítmény fenntartása nagy méretben
Hibaelhárítás és optimalizálás
- Sikló DAG-ok és feladatok hibakeresése
- DAG teljesítmény optimalizálása
- Gyakori hibaforrások és azok kerülése
Összegzés és következtetések
Követelmények
- Python programozási tapasztalat
- Ismeret a data engineering vagy DevOps fogalmakról
- ETL vagy munkafolyamat-közvetítés megértése
Célközönség
- Adat tudósok
- Data engineers
- DevOps és infrastruktúra mérnökök
- Szoftverfejlesztők
21 Órák
Vélemények (7)
Az oktató az edzést a résztvevők szintjéhez igazította és válaszolt az összes kérdésre. Nagyon kommunikatív volt, és könnyű volt kapcsolatba lépni vele. Nagyon értékeltem az edzés formátumát, amely számos gyakorlati feladatot tartalmazott. Összességében nagyon érdekes és jól megtervezett munkamenet volt.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurzus - Apache Airflow: Building and Managing Data Pipelines
Gépi fordítás
A tanfolyam tökéletes volt. Nagyon hasznos elmélet és gyakorlati feladatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden tekintetben pont illető volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden szempontból pontos volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden tekintetben pont illető volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden tekintetben megfelelő volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
A képzés minden tekintetben megfelelő volt. Hasznos elméleti részek és gyakorlatok.
Vladimir - PUBLIC COURSE
Kurzus - Apache Airflow
Gépi fordítás
