Kurzusleírás

1: HDFS (17%)

  • Ismertesse a HDFS démonok funkcióját
  • Ismertesse az Apache Hadoop klaszter normál működését, mind adattárolásban, mind adatfeldolgozásban.
  • Azonosítsa a számítástechnikai rendszerek jelenlegi jellemzőit, amelyek motiválnak egy olyan rendszert, mint az Apache Hadoop.
  • Osztályozza a HDFS tervezés fő céljait
  • Adott egy forgatókönyv, határozza meg a HDFS összevonás megfelelő használati esetét
  • Azonosítsa a HDFS HA-Quorum fürt összetevőit és démonját
  • A HDFS-biztonság (Kerberos) szerepének elemzése
  • Határozza meg a legjobb adatsorosítási lehetőséget egy adott forgatókönyvhöz
  • Ismertesse a fájl olvasási és írási útvonalát
  • Határozza meg a fájlkezelési parancsokat a Hadoop fájlrendszer shellben

2: YARN és MapReduce 2. verzió (MRv2) (17%)

  • Ismerje meg, hogy egy fürt Hadoop 1-ről Hadoop 2-re frissítése hogyan befolyásolja a fürt beállításait
  • Ismerje meg a MapReduce v2 (MRv2 / YARN) telepítését, beleértve az összes YARN démont
  • A MapReduce v2 (MRv2) alapvető tervezési stratégiája
  • Határozza meg, hogy a YARN hogyan kezeli az erőforrás-elosztást
  • Azonosítsa a YARN-en futó MapReduce-feladat munkafolyamatát
  • Határozza meg, mely fájlokat és hogyan kell módosítani egy fürt áttelepítéséhez a MapReduce 1-es verziójáról (MRv1) a YARN-en futó MapReduce 2-es verziójára (MRv2).

3: Hadoop Klaszter tervezés (16%)

  • A legfontosabb szempontok, amelyeket figyelembe kell venni az Apache Hadoop fürt fogadásához szükséges hardver és operációs rendszer kiválasztásakor.
  • Elemezze a lehetőségeket az operációs rendszer kiválasztásánál
  • Ismerje meg a kernel hangolását és a lemezcserét
  • Adott egy forgatókönyvet és a munkaterhelési mintát, azonosítsa a forgatókönyvnek megfelelő hardverkonfigurációt
  • Adott egy forgatókönyv, határozza meg az ökoszisztéma-összetevőket, amelyeket a fürtnek futnia kell az SLA teljesítéséhez
  • Fürtméretezés: adott forgatókönyv és a végrehajtás gyakorisága alapján azonosítsa a munkaterhelés sajátosságait, beleértve a CPU-t, a memóriát, a tárolót, a lemez I/O-t
  • Lemezméretezés és -konfiguráció, beleértve a JBOD-t és a RAID-et, a SAN-okat, a virtualizációt és a lemezméretezési követelményeket egy fürtben
  • Hálózati topológiák: megértse a Hadoop hálózathasználatát (HDFS és MapReduce esetén is), és javasoljon vagy azonosítson kulcsfontosságú hálózati tervezési összetevőket egy adott forgatókönyvhöz

4: Hadoop Fürttelepítés és -felügyelet (25%)

  • Adott forgatókönyv esetén határozza meg, hogy a fürt hogyan kezeli a lemez- és géphibákat
  • Elemezze a naplózási konfigurációt és a naplózási konfigurációs fájlformátumot
  • Ismerje meg a Hadoop mérőszámok és a fürt állapotfigyelésének alapjait
  • Határozza meg a fürtfigyeléshez rendelkezésre álló eszközök funkcióját és célját
  • Legyen képes telepíteni az összes ökoszisztéma-összetevőt a CDH 5-ben, beleértve (de nem kizárólagosan): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive és Pig
  • Határozza meg az Apache Hadoop fájlrendszer kezeléséhez rendelkezésre álló eszközök funkcióját és célját

5: Forrás Management (10%)

  • Ismerje meg a Hadoop ütemező mindegyikének átfogó tervezési céljait
  • Adott egy forgatókönyv, határozza meg, hogy a FIFO ütemező hogyan allokálja a fürt erőforrásait
  • Adott egy forgatókönyv, határozza meg, hogy a Fair Scheduler hogyan allokálja a fürt erőforrásait a YARN alatt
  • Adott egy forgatókönyv, határozza meg, hogy a Kapacitásütemező hogyan allokálja a fürt erőforrásait

6: Monitoring és naplózás (15%)

  • Ismerje meg a Hadoop metrikagyűjtési képességeinek funkcióit és jellemzőit
  • Elemezze a NameNode és a JobTracker webes felhasználói felületet
  • Ismerje meg, hogyan kell figyelni a fürtdémonokat
  • Azonosítsa és figyelje a CPU-használatot a fő csomópontokon
  • Ismertesse, hogyan kell figyelni a csere- és memóriafoglalást az összes csomóponton
  • Határozza meg, hogyan tekintheti meg és kezelheti Hadoop naplófájljait
  • Egy naplófájl értelmezése

Követelmények

  • Alapvető Linux adminisztrációs ismeretek
  • Alapvető programozási ismeretek
 35 Hours

Résztvevők száma



Ár per résztvevő

Vélemények (3)

Rokon tanfolyam

Rokon kategóriák