Kurzusleírás
NiFi és az adatfolyam alapjai
- Mozgó adatok vs. tétlen adatok: fogalmak és kihívások
- NiFi architektúrája: magmotorok, folyam-vezérlő, eredetmegjelölés (provenance) és közlemények (bulletin)
- Kulcsfontosságú összetevők: processzorok, kapcsolatok, vezérlőelemek és eredetmegjelölés (provenance)
Nagydátum kontextusa és integrációja
- NiFi szerepe a nagyadat-ökoszisztémákban (Hadoop, Kafka, felhőtárhely)
- HDFS, MapReduce és modern alternatívák áttekintése
- Példa alkalmazások: adatfolyam bevitel, napló szállítás, eseménycsatornák
Telepítés, konfigurálás és fürtkészítés
- NiFi egyesített módú és fürtmódú telepítése
- Fürtkonfiguráció: csomópontszerepkörök, Zookeeper és terheléselosztás
- NiFi üzembe helyezések irányítása: Ansible, Docker vagy Helm használatával
Adatfolyamok tervezése és kezelése
- Útvonalak, szűrők, folyamatok szétválasztása és egyesítése
- Processzor konfigurálása (InvokeHTTP, QueryRecord, PutDatabaseRecord stb.)
- Sémák kezelése, gazdagítás és átalakítás műveletek
- Hibakezelés, újrapróbálkozó viszonyok és háttérnyomás (backpressure)
Integrációs forgatókönyvek
- Kapcsolat létrehozása adatbázisok, üzenetszolgáltatások és REST API-kkal
- Adatfolyamok továbbítása elemzési rendszerekbe: Kafka, Elasticsearch vagy felhőtárhely
- Splunk, Prometheus vagy naplócsatornák integrálása
Monitorozás, helyreállítás és eredetmegjelölés (provenance)
- NiFi felhasználói felületének, mérőszámoknak és eredetmegjelölés (provenance) vizualizációjának használata
- Önálló helyreállítás és könnyűségű hibakezelés tervezése
- Biztonság mentesítése, folyamatverziózás és változásgazdálkodás
Teljesítménytuning és optimalizálás
- JVM, halom (heap), szála-pulok (thread pools) és fürt paramétereinek finomra állítása
- Folyamatdesign optimalizálása nyakhaló megelőzéséhez
- Esetek kialakítása, folyamat priorizálás és átviteli sebesség ellenőrzése
Legjobb gyakorlatok és szabályozás
- Folyamat dokumentáció, nevezési normák, moduláris tervezés
- Biztonság: TLS, hitelesítés, hozzáférés-ellenőrzés és adattitkosság
- Változásgazdálkodás, verziókezelés, szerepkör-alapú hozzáférés és ellenőrizhetőség nyomon követése
Hibaelhárítás és incidenskezelés
- Gyakori problémák: állózás, memóriavárakozás (memory leaks), processzor hibák
- Napló elemzése, hiba diagnosztika és gyökérkárosodás vizsgálata
- Helyreállítási stratégiák és folyamat visszaállítása
Gyakorlati labor: valós adatcsatorna implementációja
- Végponti folyamat létrehozása: bevitel, átalakítás, szolgáltatás
- Hibakezelés, háttérnyomás (backpressure) és méretezés implementálása
- Teljesítményteszt és a csatorna finomra állítása
Összefoglalás és következő lépések
Követelmények
- Linux parancssori tapasztalat
- Hálózati és adatrendszerek alapvető ismerete
- Adatfolyam vagy ETL koncepciók ismerete
Célközönség
- Rendszeradminisztrátorok
- Adatmérnökök
- Fejlesztők
- DevOps szakemberek
Vélemények (7)
GYAKORLÓ FELADATOK. A tanfolyam eredetileg 5 naposnak kellett volna lennie, de a három nap is sok kérdést válaszolt az eddigi NiFi használatomból fakadóan.
James - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
A tanár tempóját megfelelőnek találom. Senkit sem hagyott hátra módszerével. Nagyon támogató volt velünk, az új kezdekkel, akik még nem játszották a rendszergazda vagy infrastruktúra szerepét munkahelyi karrierük során, vagy akik ezt a képességet korábbi karrieri időszakból gyűjtögetették ki.
Pamdrea Ivory - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Szerettem a gyakorló szekciót. A feladatok elvégzésével jobban tudtam megjegyezni az információkat. Emellett a képződő képessége, hogy teljes körűen bekapcsolja az osztály minden tagját, olyan környezetet teremtett, amelyben megvoltak a feltétel, hogy nyugodtan feltegyek kérdéseket azokról a témákról, amelyekben bizonytalan voltam.
Leila - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Használati esetek és példák a NiFi adatfolyamok létrehozásához. Megoldottuk a gyakori problémákat és hátrányokat.
Nelson - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Szerettem a szerkezetet. Az első napon belemértünk a Nifi alapjaiiba, fogalmaiba és alkalmazási eseteibe. A második napon az első nap megismerett ismereteket gyakoroltuk, folyamatokat készítve forgatókönyvi követelményeknek megfelelően. Harmadikon a Nifi Registry-t és a verziókezelést, valamint a több bérlős működést tanultuk meg, és átnéztük a kérdéseket és válaszokat.
Adam - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
Szerettem, hogy részletesebben elmagyarázta a NiFi-t és milyen erőforrásos. Alapvetően bármely infrastruktúrában használható, és sok különböző programozási nyelvet támogat. Emellett örömmel látom, hogy sikerült megoldanunk a NiFi tanúsítványfrissítési problémát a bizalmi tárolóval.
Joachim Martin - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás
általános ismeretek és a képzés által kínált lehetőségek a eszköz tekintetében.
Nalfis Tobar - BHG Financial
Kurzus - Apache NiFi for Administrators
Gépi fordítás