Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
1. hét — Bevezetés az adatmérnöki munka világába
- Adatmérnöki alapok és modern adatrendszerek
- Adatbetöltési mintázatok és források
- Kötegelt és folyamatos adatfeldolgozás fogalmai és használati esetek
- Gyakorlati labor: mintaadatok betöltése felhő tárolóba
2. hét — Databricks Lakehouse alapok jelvény
- Databricks platform alapok és munkaterület navigáció
- Delta Lake fogalmak: ACID, időutazás és sémaváltozás
- Munkaterület biztonság, hozzáférési szabályozások és Unity Catalog alapok
- Gyakorlati labor: Delta tábla létrehozása és kezelése
3. hét — Haladó SQL a Databrickson
- Haladó SQL szerkezetek és ablakfüggvények nagyméretű adatokon
- Lekérdezés optimalizálás, magyarázó tervek és költségtudatos mintázatok
- Materializált nézetek, gyorsítótár és teljesítményhangolás
- Gyakorlati labor: analitikai lekérdezések optimalizálása nagy adathalmazokon
4. hét — Databricks Certified Developer for Apache Spark (Előkészítés)
- Spark architektúra, RDD-k, DataFrame-ek és DataSets részletes bemutatása
- Kulcsfontosságú Spark transzformációk és műveletek; teljesítmény szempontok
- Spark streaming alapok és strukturált streaming mintázatok
- Gyakorló vizsgafeladatok és gyakorlati tesztproblémák
5. hét — Bevezetés az adatmodellezésbe
- Fogalmak: dimenziós modellezés, csillag/séma tervezés és normalizáció
- Lakehouse modellezés vs hagyományos raktári megközelítések
- Tervezési mintázatok elemzésre kész adathalmazokhoz
- Gyakorlati labor: fogyasztásra kész táblák és nézetek építése
6. hét — Bevezetés az import eszközökbe és az adatbetöltés automatizálásába
- Csatlakozók és betöltési eszközök a Databrickshoz (AWS Glue, Data Factory, Kafka)
- Folyamatos betöltési mintázatok és mikro-kötegelt tervezések
- Adatérvényesítés, minőségellenőrzés és sémakényszerítés
- Gyakorlati labor: rugalmas betöltési folyamatok építése
7. hét — Bevezetés a Git Flow-ba és a CI/CD-be az adatmérnöki munka során
- Git Flow ágazási stratégiák és tárolószervezés
- CI/CD folyamatok notebookok, feladatok és infrastruktúra mint kód számára
- Tesztelés, lintelés és telepítési automatizálás adatkódokhoz
- Gyakorlati labor: Git-alapú munkafolyamat és automatizált feladattelepítés implementálása
8. hét — Databricks Certified Data Engineer Associate (Előkészítés) & Adatmérnöki mintázatok
- Tanúsítvány témák áttekintése és gyakorlati feladatok
- Architekturális mintázatok: bronz/ezüst/arany, CDC, lassan változó dimenziók
- Operációs mintázatok: monitorozás, riasztás és leszármaztatás
- Gyakorlati labor: végponttól végpontig tartó folyamat, amely mérnöki mintázatokat alkalmaz
9. hét — Bevezetés az Airflow-ba és az Astronomer-be; Szkriptelés
- Airflow fogalmak: DAG-ok, feladatok, operátorok és ütemezés
- Astronomer platform áttekintés és folyamatszervezési ajánlott gyakorlatok
- Szkriptelés automatizáláshoz: Python szkriptmintázatok adatfeladatokhoz
- Gyakorlati labor: Databricks feladatok szervezése Airflow DAG-okkal
10. hét — Adatvizualizáció, Tableau és Egyéni Záróprojekt
- Tableau csatlakoztatása a Databrickshoz és ajánlott gyakorlatok a BI réteghez
- Irányítópult tervezési alapelvek és teljesítménytudatos vizualizációk
- Záróprojekt: egyéni záróprojekt tervezés, implementálás és bemutatás
- Végső bemutatók, társbírálat és oktatói visszajelzés
Összefoglalás és következő lépések
Követelmények
- Alapvető SQL és adatfogalmak ismerete
- Tapasztalat Python vagy Scala programozásban
- Ismeret a felhőszolgáltatások és virtuális környezetek területén
Közönség
- Továbbképző és gyakorló adatmérnökök
- ETL/BI fejlesztők és elemzési mérnökök
- Adatplatform és DevOps csapatok, akik folyamatokat támogatnak
350 Órák
