Kurzusleírás

1. modul: Bevezetés a Hadoop-be

  • Az Hadoop elosztott fájlrendszer (HDFS)
  • Az olvasási út és az írási út
  • Fájlrendszer-metaadatok kezelése
  • A Namenode és a Datanode
  • A Namenode magas rendelkezésre állása
  • Namenode Federation
  • A parancssori eszközök
  • A REST támogatás megértése

2. modul: Bevezetés a MapReduce-ba

  • Az adatok elemzése a Hadoop segítségével
  • Térkép és kicsinyítés minta
  • Java MapReduce
  • Kiméretezés
  • Adatáramlás
  • Kombinátor funkciók fejlesztése
  • Elosztott MapReduce Job futtatása

3. modul: Hadoop Klaszter tervezése

  • A Hadoop terjesztésének és verziójának kiválasztása
  • Verziók és funkciók
  • Hardver kiválasztása
  • Mester és dolgozó hardver kiválasztása
  • Klaszter méretezése
  • Operációs rendszer kiválasztása és előkészítése
  • Telepítési elrendezés
  • Felhasználók, csoportok és jogosultságok beállítása
  • Lemezkonfiguráció
  • Hálózat tervezése

4. modul. Telepítés és konfigurálás

  • Telepítés Hadoop
  • Konfiguráció: Áttekintés
  • A Hadoop XML konfigurációs fájlok
  • Környezeti változók és Shell szkriptek
  • Naplózás konfigurációja
  • HDFS kezelése
  • Optimalizálás és hangolás
  • A Namenode formázása
  • /tmp könyvtár létrehozása
  • Thinking Namenode High Availability
  • A kerítési lehetőségek
  • Automatikus feladatátvételi konfiguráció
  • Formázza és Bootstrap a Namenodes-okat
  • Namenode Federation

5. modul: Hadoop I/O megértése

  • Adatintegritás HDFS-ben
  • A kodekek megértése
  • Tömörítés és beviteli felosztás
  • A tömörítés használata a MapReduce-ban
  • A sorozatosítási mechanizmus
  • Fájl alapú adatszerkezetek
  • A SequenceFile formátum
  • Egyéb fájlformátumok és oszloporientált formátumok

6. modul: MapReduce alkalmazás fejlesztése

  • A konfigurációs API
  • A fejlesztői környezet beállítása
  • Konfiguráció kezelése
  • GenericOptionsParser, Tool és ToolRunner
  • Egységteszt írása az MRUnit segítségével
  • A térképező és reduktor
  • Helyi futás tesztadatokon
  • Az illesztőprogram tesztelése
  • Fürtön fut
  • Csomagolás és munka indítása
  • A MapReduce webes felhasználói felülete
  • Munka hangolása

7. modul: Identitás, hitelesítés és jogosultság

  • Az identitás kezelése
  • Kerberos és Hadoop
  • Az engedélyezés megértése

8. modul. Erőforrás Management

  • Mi az az erőforrás Management?
  • HDFS kvóták
  • MapReduce ütemezők
  • A FONAL alkalmazási futtatásának anatómiája
  • Erőforrás kérések
  • Alkalmazás élettartama
  • FONAL A MapReduce 1-hez képest
  • Ütemezés FONALBAN
  • Ütemező beállításai
  • Kapacitásütemező konfigurálása
  • Fair Scheduler konfiguráció
  • Késleltetett ütemezés
  • Domináns erőforrás méltányosság

9. modul: MapReduce típusok és formátumok

  • MapReduce típusok
  • Az alapértelmezett MapReduce Job
  • A beviteli formátumok meghatározása
  • Bemeneti felosztások és rekordok kezelése
  • Szövegbevitel és bináris bevitel
  • Több bemenet kezelése
  • Database Bemenet (és kimenet)
  • Kimeneti formátumok
  • Szöveges kimenet és bináris kimenet
  • Több kimenet kezelése
  • Az Database kimenet

10. modul. A MapReduce szolgáltatásainak használata

  • Számlálók használata
  • Beépített számlálók olvasása
  • Felhasználó által meghatározott Java számlálók
  • A rendezés megértése
  • Az elosztott gyorsítótár használata

11. modul. Fürt karbantartása és hibaelhárítás

  • Hadoop folyamatok kezelése
  • Folyamatok indítása és leállítása Init szkriptekkel
  • A folyamatok kézi indítása és leállítása
  • HDFS karbantartási feladatok
  • Datanode hozzáadása
  • Datanode leszerelése
  • A fájlrendszer integritásának ellenőrzése az fsck segítségével
  • HDFS blokkadatok kiegyensúlyozása
  • Meghibásodott lemez kezelése
  • MapReduce karbantartási feladatok
  • Egy MapReduce Job megölése
  • Egy MapReduce feladat megölése
  • Az erőforrás-kimerülés kezelése

12. modul: Monitoring

  • A rendelkezésre álló Hadoop mérőszámok
  • Az SNMP szerepe
  • Egészségügyi Monitoring
  • Gazdaszintű ellenőrzések
  • HDFS ellenőrzések
  • MapReduce ellenőrzések

13. modul: Biztonsági mentés és helyreállítás

  • Adatmentés
  • Elosztott másolat (distcp)
  • Párhuzamos adatbevitel
  • Namenode metaadatok
 21 Hours

Résztvevők száma



Ár per résztvevő

Vélemények (1)

Rokon tanfolyam

Rokon kategóriák