Kurzusleírás

A NiFi és az adatfolyamok alapjai

  • Mozgó és nyugalmi állapotban lévő adatok: fogalmak és kihívások
  • NiFi architektúra: magok, folyamvezérlő, eredetvizsgálat és közlemények
  • Kulcsfontosságú komponensek: processzorok, kapcsolatok, vezérlők és eredetvizsgálat

Big Data kontextus és integráció

  • A NiFi szerepe a Big Data ökoszisztémákban (Hadoop, Kafka, felhőtárolók)
  • Áttekintés a HDFS, MapReduce és modern alternatívákról
  • Használati esetek: stream betöltés, naplószállítás, eseménycsatornák

Telepítés, konfiguráció és klaszter beállítás

  • NiFi telepítése egyetlen csomóponton és klaszter módban
  • Klaszter konfiguráció: csomópont szerepek, zookeeper és terheléselosztás
  • NiFi üzembe helyezések koordinálása: Ansible, Docker vagy Helm használata

Adatfolyamok tervezése és kezelése

  • Folyamatok irányítása, szűrése, szétválasztása, egyesítése
  • Processzor konfiguráció (InvokeHTTP, QueryRecord, PutDatabaseRecord stb.)
  • Sémakezelés, bővítés és átalakítási műveletek
  • Hibakezelés, újrapróbálkozási kapcsolatok és visszanyomás

Integrációs forgatókönyvek

  • Kapcsolódás adatbázisokhoz, üzenetküldő rendszerekhez, REST API-khoz
  • Streamelés elemző rendszerekbe: Kafka, Elasticsearch vagy felhőtárolók
  • Integráció Splunk, Prometheus vagy naplózási folyamatokkal

Monitorozás, helyreállítás és eredetvizsgálat

  • NiFi felhasználói felület, metrikák és eredetvizsgáló használata
  • Autonóm helyreállítás és kifinomult hibakezelés tervezése
  • Biztonsági mentés, folyamatverziókezelés és változáskezelés

Teljesítményfinomítás és optimalizálás

  • JVM, heap, szálkészletek és klaszterparaméterek finomhangolása
  • Folyamtervezés optimalizálása a szűk keresztmetszetek csökkentése érdekében
  • Erőforrás elkülönítés, folyamatpriorizálás és átviteli sebesség szabályozás

Ajánlott eljárások és irányítás

  • Folyam dokumentáció, elnevezési szabványok, moduláris tervezés
  • Biztonság: TLS, hitelesítés, hozzáférés-vezérlés, adattitkosítás
  • Változáskezelés, verziókezelés, szerepalapú hozzáférés, naplózási nyomvonalak

Hibaelhárítás és incidenskezelés

  • Gyakori problémák: holtpontok, memóriaszivárgások, processzorhibák
  • Naplóelemzés, hibadiagnosztika és gyökérkivizsgálás
  • Helyreállítási stratégiák és folyamvisszaállítás

Gyakorlati labor: Valós adatcsatorna implementálása

  • Egy teljes körű folyamat építése: betöltés, átalakítás, szállítás
  • Hibakezelés, visszanyomás és skálázás implementálása
  • Teljesítménytesztelés és a csatorna finomhangolása

Összegzés és következő lépések

Követelmények

  • Tapasztalat a Linux parancssorral
  • Alapvető ismeretek a hálózatokról és adatrendszerekről
  • Ismeret az adatstreamelés vagy ETL koncepciók terén

Közönség

  • Rendszergazdák
  • Adatmérnökök
  • Fejlesztők
  • DevOps szakemberek
 21 Órák

Résztvevők száma


Ár per résztvevő

Vélemények (7)

Közelgő kurzusok

Rokon kategóriák