Kurzusleírás

1. szakasz: Bevezetés a Hadoop-ba

  • hadoop történelem, fogalmak
  • öko rendszer
  • disztribúciók
  • magas szintű architektúra
  • hadoop mítoszok
  • hadoop kihívások
  • hardver szoftver
  • labor : első pillantás a Hadoop-ra

2. szakasz: HDFS

  • Tervezés és építészet
  • fogalmak (vízszintes méretezés, replikáció, adatlokalitás, rack tudatosság)
  • Démonok: névcsomópont, másodlagos névcsomópont, adatcsomópont
  • kommunikáció / szívverések
  • adatintegritás
  • olvasási / írási útvonal
  • Namenode High Availability (HA), Federation
  • labs: interakció a HDFS-szel

3. szakasz: Térkép csökkentése

  • koncepciók és építészet
  • démonok (MRV1): jobtracker / tasktracker
  • fázisok: vezető, térképező, keverés/rendezés, reduktor
  • Map Reduce 1. és 2. verzió (YARN)
  • A Map Reduce belső elemei
  • Bevezetés a Java Map Reduce programba
  • labs : MapReduce mintaprogram futtatása

4. szakasz: Sertés

  • pig vs java térkép csökkentése
  • disznó munkafolyamat
  • disznó latin nyelv
  • ETL malaccal
  • Átalakítások és csatlakozások
  • Felhasználó által definiált függvények (UDF)
  • Labs: Pig szkriptek írása az adatok elemzéséhez

5. szakasz: Hive

  • építészet és design
  • adattípusok
  • SQL támogatás itt: Hive
  • Hive tábla készítése és lekérdezés
  • válaszfalak
  • csatlakozik
  • szövegfeldolgozás
  • laborok : különféle laboratóriumok az adatok feldolgozásával kapcsolatban Hive

6. szakasz: HBase

  • koncepciók és építészet
  • hbase vs RDBMS vs cassandra
  • HBase Java API
  • Idősor adatok a HBase-en
  • séma tervezés
  • laborok: interakció a HBase-sel shell használatával; programozás HBase-ben Java API ; Sématervezési gyakorlat

Követelmények

  • jól ismeri a Java programozási nyelvet (a legtöbb programozási gyakorlat java nyelven van)
  • kényelmesen Linux környezetben (lehet navigálni Linux parancssorban, szerkeszteni a fájlokat a vi / nano segítségével)

Labor környezet

Nulla telepítés : Nem kell hadoop szoftvert telepíteni a hallgatók gépére! A tanulók számára egy működő hadoop klasztert biztosítunk.

A tanulóknak a következőkre lesz szükségük

  • SSH-kliens (Linux és Mac már rendelkeznek ssh-kliensekkel, Windowshoz a Putty ajánlott)
  • egy böngésző a fürt eléréséhez. Javasoljuk a Firefox böngészőt
 28 Hours

Résztvevők száma



Ár per résztvevő

Vélemények (3)

Rokon tanfolyam

Rokon kategóriák