Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kurzusleírás
1. modul: Bevezetés a Hadoop-be
- Az Hadoop elosztott fájlrendszer (HDFS)
- Az olvasási út és az írási út
- Fájlrendszer-metaadatok kezelése
- A Namenode és a Datanode
- A Namenode magas rendelkezésre állása
- Namenode Federation
- A parancssori eszközök
- A REST támogatás megértése
2. modul: Bevezetés a MapReduce-ba
- Az adatok elemzése a Hadoop segítségével
- Térkép és kicsinyítés minta
- Java MapReduce
- Kiméretezés
- Adatáramlás
- Kombinátor funkciók fejlesztése
- Elosztott MapReduce Job futtatása
3. modul: Hadoop Klaszter tervezése
- A Hadoop terjesztésének és verziójának kiválasztása
- Verziók és funkciók
- Hardver kiválasztása
- Mester és dolgozó hardver kiválasztása
- Klaszter méretezése
- Operációs rendszer kiválasztása és előkészítése
- Telepítési elrendezés
- Felhasználók, csoportok és jogosultságok beállítása
- Lemezkonfiguráció
- Hálózat tervezése
4. modul. Telepítés és konfigurálás
- Telepítés Hadoop
- Konfiguráció: Áttekintés
- A Hadoop XML konfigurációs fájlok
- Környezeti változók és Shell szkriptek
- Naplózás konfigurációja
- HDFS kezelése
- Optimalizálás és hangolás
- A Namenode formázása
- /tmp könyvtár létrehozása
- Thinking Namenode High Availability
- A kerítési lehetőségek
- Automatikus feladatátvételi konfiguráció
- Formázza és Bootstrap a Namenodes-okat
- Namenode Federation
5. modul: Hadoop I/O megértése
- Adatintegritás HDFS-ben
- A kodekek megértése
- Tömörítés és beviteli felosztás
- A tömörítés használata a MapReduce-ban
- A sorozatosítási mechanizmus
- Fájl alapú adatszerkezetek
- A SequenceFile formátum
- Egyéb fájlformátumok és oszloporientált formátumok
6. modul: MapReduce alkalmazás fejlesztése
- A konfigurációs API
- A fejlesztői környezet beállítása
- Konfiguráció kezelése
- GenericOptionsParser, Tool és ToolRunner
- Egységteszt írása az MRUnit segítségével
- A térképező és reduktor
- Helyi futás tesztadatokon
- Az illesztőprogram tesztelése
- Fürtön fut
- Csomagolás és munka indítása
- A MapReduce webes felhasználói felülete
- Munka hangolása
7. modul: Identitás, hitelesítés és jogosultság
- Az identitás kezelése
- Kerberos és Hadoop
- Az engedélyezés megértése
8. modul. Erőforrás Management
- Mi az az erőforrás Management?
- HDFS kvóták
- MapReduce ütemezők
- A FONAL alkalmazási futtatásának anatómiája
- Erőforrás kérések
- Alkalmazás élettartama
- FONAL A MapReduce 1-hez képest
- Ütemezés FONALBAN
- Ütemező beállításai
- Kapacitásütemező konfigurálása
- Fair Scheduler konfiguráció
- Késleltetett ütemezés
- Domináns erőforrás méltányosság
9. modul: MapReduce típusok és formátumok
- MapReduce típusok
- Az alapértelmezett MapReduce Job
- A beviteli formátumok meghatározása
- Bemeneti felosztások és rekordok kezelése
- Szövegbevitel és bináris bevitel
- Több bemenet kezelése
- Database Bemenet (és kimenet)
- Kimeneti formátumok
- Szöveges kimenet és bináris kimenet
- Több kimenet kezelése
- Az Database kimenet
10. modul. A MapReduce szolgáltatásainak használata
- Számlálók használata
- Beépített számlálók olvasása
- Felhasználó által meghatározott Java számlálók
- A rendezés megértése
- Az elosztott gyorsítótár használata
11. modul. Fürt karbantartása és hibaelhárítás
- Hadoop folyamatok kezelése
- Folyamatok indítása és leállítása Init szkriptekkel
- A folyamatok kézi indítása és leállítása
- HDFS karbantartási feladatok
- Datanode hozzáadása
- Datanode leszerelése
- A fájlrendszer integritásának ellenőrzése az fsck segítségével
- HDFS blokkadatok kiegyensúlyozása
- Meghibásodott lemez kezelése
- MapReduce karbantartási feladatok
- Egy MapReduce Job megölése
- Egy MapReduce feladat megölése
- Az erőforrás-kimerülés kezelése
12. modul: Monitoring
- A rendelkezésre álló Hadoop mérőszámok
- Az SNMP szerepe
- Egészségügyi Monitoring
- Gazdaszintű ellenőrzések
- HDFS ellenőrzések
- MapReduce ellenőrzések
13. modul: Biztonsági mentés és helyreállítás
- Adatmentés
- Elosztott másolat (distcp)
- Párhuzamos adatbevitel
- Namenode metaadatok
21 Hours
Vélemények (1)
The fact that all the data and software was ready to use on an already prepared VM, provided by the trainer in external disks.