Kurzusleírás
NiFi és az adatfolyam alapjai
- Mozgó adatok vs. tétlen adatok: fogalmak és kihívások
- NiFi architektúrája: magmotorok, folyam-vezérlő, eredetmegjelölés (provenance) és közlemények (bulletin)
- Kulcsfontosságú összetevők: processzorok, kapcsolatok, vezérlőelemek és eredetmegjelölés (provenance)
Nagydátum kontextusa és integrációja
- NiFi szerepe a nagyadat-ökoszisztémákban (Hadoop, Kafka, felhőtárhely)
- HDFS, MapReduce és modern alternatívák áttekintése
- Példa alkalmazások: adatfolyam bevitel, napló szállítás, eseménycsatornák
Telepítés, konfigurálás és fürtkészítés
- NiFi egyesített módú és fürtmódú telepítése
- Fürtkonfiguráció: csomópontszerepkörök, Zookeeper és terheléselosztás
- NiFi üzembe helyezések irányítása: Ansible, Docker vagy Helm használatával
Adatfolyamok tervezése és kezelése
- Útvonalak, szűrők, folyamatok szétválasztása és egyesítése
- Processzor konfigurálása (InvokeHTTP, QueryRecord, PutDatabaseRecord stb.)
- Sémák kezelése, gazdagítás és átalakítás műveletek
- Hibakezelés, újrapróbálkozó viszonyok és háttérnyomás (backpressure)
Integrációs forgatókönyvek
- Kapcsolat létrehozása adatbázisok, üzenetszolgáltatások és REST API-kkal
- Adatfolyamok továbbítása elemzési rendszerekbe: Kafka, Elasticsearch vagy felhőtárhely
- Splunk, Prometheus vagy naplócsatornák integrálása
Monitorozás, helyreállítás és eredetmegjelölés (provenance)
- NiFi felhasználói felületének, mérőszámoknak és eredetmegjelölés (provenance) vizualizációjának használata
- Önálló helyreállítás és könnyűségű hibakezelés tervezése
- Biztonság mentesítése, folyamatverziózás és változásgazdálkodás
Teljesítménytuning és optimalizálás
- JVM, halom (heap), szála-pulok (thread pools) és fürt paramétereinek finomra állítása
- Folyamatdesign optimalizálása nyakhaló megelőzéséhez
- Esetek kialakítása, folyamat priorizálás és átviteli sebesség ellenőrzése
Legjobb gyakorlatok és szabályozás
- Folyamat dokumentáció, nevezési normák, moduláris tervezés
- Biztonság: TLS, hitelesítés, hozzáférés-ellenőrzés és adattitkosság
- Változásgazdálkodás, verziókezelés, szerepkör-alapú hozzáférés és ellenőrizhetőség nyomon követése
Hibaelhárítás és incidenskezelés
- Gyakori problémák: állózás, memóriavárakozás (memory leaks), processzor hibák
- Napló elemzése, hiba diagnosztika és gyökérkárosodás vizsgálata
- Helyreállítási stratégiák és folyamat visszaállítása
Gyakorlati labor: valós adatcsatorna implementációja
- Végponti folyamat létrehozása: bevitel, átalakítás, szolgáltatás
- Hibakezelés, háttérnyomás (backpressure) és méretezés implementálása
- Teljesítményteszt és a csatorna finomra állítása
Összefoglalás és következő lépések
Követelmények
- Linux parancssori tapasztalat
- Hálózati és adatrendszerek alapvető ismerete
- Adatfolyam vagy ETL koncepciók ismerete
Célközönség
- Rendszeradminisztrátorok
- Adatmérnökök
- Fejlesztők
- DevOps szakemberek
Vélemények (7)
Kezek gyakorlatok. Az osztálynak 5 naposnak kellett volna lennie, de ez a 3 nap segített tisztázni sok olyan kérdést, amelyek a NiFi-vel való munkám során felmerültek.
James - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Szerintem jó volt az edző tempója. Egyetlen diákot sem hagyott maga mögött közeledésével. Nagyon támogatott velünk, ÚJONKAL, akiknek pályafutásunk során nem volt rendszeradminisztrátori vagy infrastruktúra-felelős szerepük, vagy elevenítették fel ezeket a készségeket karrierünk korábbi időszakából.
Pamdrea Ivory - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Szeretem a hands on szakaszt. A megadott gyakorlatok elvégzésével segített jobban megőrizni az információkat. Ezenkívül az oktató azon képessége, hogy az egész osztállyal kapcsolatba tudjon lépni, kényelmessé tette, hogy kérdéseket tegyek fel olyan dolgokkal kapcsolatban, amelyekben nem voltam biztos.
Leila - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Felhasználási esetek, példák NiFi adatfolyamok felépítésére. Dolgoztunk a gyakori problémák és hibák elhárításán.
Nelson - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Imádtam a szerkezetet. Az 1. napon belemerültünk a Nifi alapjaiba, a koncepciókba, a használati esetekbe stb.. A 2. napon az 1. nap tudását a gyakorlatba ültethettük úgy, hogy áramlásokat építettünk ki a forgatókönyv követelményeinek megfelelően. A 3. napon megtekinthettük a Nifi Registry-t és a verziókezelést, a több bérlést, és áttekinthettük a kérdéseket és válaszokat.
Adam - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Szerintem nagyon jó volt, ahogy megmagyarázta a Nifi-t és mennyire hatékony. Alapvetően bármilyen infrastruktúrához használhatod és sokféle számítógépes nyelvet lehet használni. Szívesen láttam, hogy sikerül megoldanunk a Nifi tanúsítvány-újraindítási problémát, amellyel a Truststore-ban voltunk. .
Joachim Martin - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Általános ismeretek és a képzés által nyújtott lehetőségek a szerszám használatával kapcsolatban.
Nalfis Tobar - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
