Kurzusleírás

NiFi és az adatfolyam alapjai

  • Mozgó adatok vs. tétlen adatok: fogalmak és kihívások
  • NiFi architektúrája: magmotorok, folyam-vezérlő, eredetmegjelölés (provenance) és közlemények (bulletin)
  • Kulcsfontosságú összetevők: processzorok, kapcsolatok, vezérlőelemek és eredetmegjelölés (provenance)

Nagydátum kontextusa és integrációja

  • NiFi szerepe a nagyadat-ökoszisztémákban (Hadoop, Kafka, felhőtárhely)
  • HDFS, MapReduce és modern alternatívák áttekintése
  • Példa alkalmazások: adatfolyam bevitel, napló szállítás, eseménycsatornák

Telepítés, konfigurálás és fürtkészítés

  • NiFi egyesített módú és fürtmódú telepítése
  • Fürtkonfiguráció: csomópontszerepkörök, Zookeeper és terheléselosztás
  • NiFi üzembe helyezések irányítása: Ansible, Docker vagy Helm használatával

Adatfolyamok tervezése és kezelése

  • Útvonalak, szűrők, folyamatok szétválasztása és egyesítése
  • Processzor konfigurálása (InvokeHTTP, QueryRecord, PutDatabaseRecord stb.)
  • Sémák kezelése, gazdagítás és átalakítás műveletek
  • Hibakezelés, újrapróbálkozó viszonyok és háttérnyomás (backpressure)

Integrációs forgatókönyvek

  • Kapcsolat létrehozása adatbázisok, üzenetszolgáltatások és REST API-kkal
  • Adatfolyamok továbbítása elemzési rendszerekbe: Kafka, Elasticsearch vagy felhőtárhely
  • Splunk, Prometheus vagy naplócsatornák integrálása

Monitorozás, helyreállítás és eredetmegjelölés (provenance)

  • NiFi felhasználói felületének, mérőszámoknak és eredetmegjelölés (provenance) vizualizációjának használata
  • Önálló helyreállítás és könnyűségű hibakezelés tervezése
  • Biztonság mentesítése, folyamatverziózás és változásgazdálkodás

Teljesítménytuning és optimalizálás

  • JVM, halom (heap), szála-pulok (thread pools) és fürt paramétereinek finomra állítása
  • Folyamatdesign optimalizálása nyakhaló megelőzéséhez
  • Esetek kialakítása, folyamat priorizálás és átviteli sebesség ellenőrzése

Legjobb gyakorlatok és szabályozás

  • Folyamat dokumentáció, nevezési normák, moduláris tervezés
  • Biztonság: TLS, hitelesítés, hozzáférés-ellenőrzés és adattitkosság
  • Változásgazdálkodás, verziókezelés, szerepkör-alapú hozzáférés és ellenőrizhetőség nyomon követése

Hibaelhárítás és incidenskezelés

  • Gyakori problémák: állózás, memóriavárakozás (memory leaks), processzor hibák
  • Napló elemzése, hiba diagnosztika és gyökérkárosodás vizsgálata
  • Helyreállítási stratégiák és folyamat visszaállítása

Gyakorlati labor: valós adatcsatorna implementációja

  • Végponti folyamat létrehozása: bevitel, átalakítás, szolgáltatás
  • Hibakezelés, háttérnyomás (backpressure) és méretezés implementálása
  • Teljesítményteszt és a csatorna finomra állítása

Összefoglalás és következő lépések

Követelmények

  • Linux parancssori tapasztalat
  • Hálózati és adatrendszerek alapvető ismerete
  • Adatfolyam vagy ETL koncepciók ismerete

Célközönség

  • Rendszeradminisztrátorok
  • Adatmérnökök
  • Fejlesztők
  • DevOps szakemberek
 21 Órák

Résztvevők száma


Ár résztvevőnként

Vélemények (7)

Közelgő kurzusok

Rokon kategóriák