Kurzusleírás

Bevezetés

Hadoop architektúrájának és kulcsfogalmainak megértése

A Hadoop elosztott fájlrendszer (HDFS) megértése

    A HDFS áttekintése és a HDFS-sel kölcsönhatásba lépő építészeti kialakítása Alapvető fájlműveletek végrehajtása HDFS-en A HDFS-parancsok áttekintése A Snakebite áttekintése A Snakebite telepítése a Snakebite klienskönyvtár használatával a CLI kliens használatával

A MapReduce programozási modell elsajátítása a Python segítségével

    A MapReduce Programming modell áttekintése Az adatfolyam értelmezése a MapReduce keretrendszerben Map Shuffle and Sort Reduce
A Hadoop Streaming Utility használata A Hadoop Streaming Utility működésének megértése
  • Demo: A WordCount alkalmazás megvalósítása Pythonon
  • Az mrjob könyvtár használata Az mrjob áttekintése
  • Az mrjob telepítése
  • Demo: Az WordCount algoritmus megvalósítása mrjob használatával
  • Az mrjob könyvtárral írt MapReduce munkák működésének megértése
  • MapReduce alkalmazás végrehajtása az mrjob segítségével
  • Gyakorlati gyakorlat: A legjobb fizetések kiszámítása az mrjob segítségével
  • Tanuló malac a Python-mal
  • A Pig Demo áttekintése: Az WordCount algoritmus megvalósítása a Pig konfigurálásában és futtatásában Pig szkriptek és Pig utasítások a Pig végrehajtási módok használatával A Pig interaktív mód használata a Pic Batch mód használatával
  • A disznó latin nyelv alapfogalmainak megértése állítások segítségével

      adatok betöltése
    Adatok átalakítása
  • Adatok tárolása
  • A Pig funkcióinak kiterjesztése Python UDF-ekkel Python UDF-fájl regisztrálása
  • Demo: Egyszerű Python UDF
  • Demo: String manipuláció Python UDF használatával
  • Gyakorlati gyakorlat: A 10 legfrissebb film kiszámítása Python UDF használatával
  • A Spark és a PySpark
  • A Spark bemutató áttekintése: Az Wordszámláló algoritmus megvalósítása a PySparkban A PySpark áttekintése interaktív shell használatával önálló alkalmazások megvalósításához
  • Munka rugalmas elosztott adatkészletekkel (RDD) RDD-k létrehozása Python gyűjteményből
  • RDD-k létrehozása fájlokból
  • RDD átalakítások megvalósítása

      RDD-akciók végrehajtása
    Gyakorlati gyakorlat: Szöveges Search program megvalósítása filmcímekhez a PySpark segítségével
  • Munkafolyamat kezelése a Python segítségével
  • Az Apache Oozie és Luigi áttekintése A Luigi telepítése A Luigi munkafolyamat-koncepciói Feladatok Célok Paraméterek
  • Demo: Az Wordszámlálási algoritmust megvalósító munkafolyamat vizsgálata
  • Munka a Hadoop munkafolyamatokkal, amelyek Luigi konfigurációs fájljait használva vezérlik a MapReduce és a Pig Jobokat
  • A MapReduce használata Luigi nyelven
  • Dolgozunk Pig-gel Luigiban
  • Összefoglalás, és következtetés

    Követelmények

    • Python programozásban szerzett tapasztalat
    • Alapvető ismeretek a Hadoopról
     28 Hours

    Résztvevők száma



    Ár per résztvevő

    Vélemények (3)

    Rokon tanfolyam

    Rokon kategóriák