Intensive Databricks Data Engineering Immersive Képzés

1. hét — Adatok mérnöksége bevezetése

• Adatmérnöki alapok és modern adatverzések
• Adatbefogadás minta és források
• Csomagolt vs. áramoltatási fogalmak és használati esetek
• Pratika: mintadatok beolvasása felhő tárolásba

2. hét — Databricks Lakehouse alapozó jelvény

• Databricks platform alapok és munkaterület navigálás
• Delta Lake fogalmak: ACID, időutazás, és sémaváltozás
• Munkaterület biztonsága, hozzáférési korlátozások, és Unity Catalog alapok
• Pratika: Delta táblák létrehozása és kezelése

3. hét — Databrickson előrehaladott SQL

• Előrehaladott SQL konstrukciók és ablakfüggvények nagy méretben
• Lekérdezés optimalizálása, explain leírást és költségfigyelembe vett minta
• Megvalósított nézetek, cache-elés és teljesítménybeállítás
• Pratika: nagy adatmennyiségű analitikai lekérdezések optimalizálása

4. hét — Databricks Certified Developer for Apache Spark (Felkészülés)

• Spark architektúra, RDD-k, DataFrames és Datasetek mély belemérés
• Kulcs Spark átalakítások és akciók; teljesítményfontosságú megfontolások
• Spark áramoltatás alapjai és strukturált áramoltatás minták
• Gyakorlóvizsgai feladatok és gyakorló tesztfeladatok

5. hét — Adatmodellezés bevezetése

• Fogalmak: dimenziós modell, csillag/séma tervezés, és normalizálás
• Lakehouse modell vs hagyományos raktervezési megközelítések
• Analitika-kész adatmennyiségek modell mintái
• Pratika: fogyasztáskész táblák és nézetek építése

6. hét — Import eszközök és adatbefogadás automatizálása bevezetése

• Databricks csatlakozók és adatbefogadási eszközök (AWS Glue, Data Factory, Kafka)
• Áramoltatási befogadási minta és mikrocsomag tervezések
• Adatvalidálás, minőségi ellenőrzések és sémameghatározás
• Pratika: biztonságos adatbefogadási csövek építése

7. hét — Git folyam és CI/CD adatmérnökség bevezetése

• Git folyam ágtervezési stratégiák és tároló szervezés
• CI/CD csövek füzetek, feladatok, és infrastruktúra mintákhoz
• Tesztelés, linterezés és automatizált telepítés adatkódhoz
• Pratika: Git alapú munkamenet és automatizált feladattelepítés

8. hét — Databricks Certified Data Engineer Associate (Felkészülés) & Adatmérnöki minták

• Jelvény témák áttekintése és gyakorlati feladatok
• Architekturális minták: bronz/ezer/ezer, CDC, lassan változó dimenziók
• Üzemeltetési minták: monitorozás, értesítés és vonalzat
• Pratika: végső csővépítés mérnöki minták alkalmazásával

9. hét — Airflow és Astronomer bevezetése; Scriptelés

• Airflow fogalmak: DAG-ek, feladatok, operátorok és időzítés
• Astronomer platform áttekintése és legjobb gyakorlatok
• Scriptelés automatizáláshoz: Python scriptelési minták adatfeladatokhoz
• Pratika: Databricks feladatok Airflow DAG-ekkel

10. hét — Adatvizualizáció, Tableau és egyedi záróprojekt

• Tableau csatlakoztatása Databrickshoz és BI rétegek legjobb gyakorlatai
• Vezérlőpulttervezési elvek és teljesítményfigyelembe vett vizualizációk
• Záró projekt: egyedi záróprojekt megfogalmazása, implementálása és bemutatása
• Záró bemutatók, társtulajdonos értékelés és oktató visszajelzése

Összegzés és következő lépések