Kurzusleírás
1.1Hadoop Fogalmak
1.1.1 HDFS
- A HDFS parancssori interfész tervezése Hadoop fájlrendszer
1.1.2 Klaszterek
- A fürt anatómiája Mater Node / Slave csomópont Név Csomópont / Adatcsomópont
1.2 Adatkezelés
1.2.1 MapReduce részletes
- Térképfázis Fázis csökkentése Keverés
1.2.2Analytics a Map Reduce funkcióval
- Csoportosítás a MapReduce segítségével Gyakorisági eloszlások és rendezés a MapReduce segítségével. Nyomtatási eredmények (GNU Plot) Hisztogramok MapReduce segítségével Scatter diagramok MapReduce segítségével Összetett adatkészletek elemzése Számlálás MapReduce és Combiner segítségével Jelentések készítése
1.2.3 Adattisztítás
- Dokumentumtisztítás Fuzzy karakterlánc-keresés Rögzítési hivatkozás / adatduplikáció megszüntetése Eseménydátumok átalakítása és rendezése Forrás megbízhatóságának ellenőrzése Kiugró értékek kivágása
1.2.4 Adatok kinyerése és átalakítása
- Naplók átalakítása Apache Pig használatával a szűréshez Apache Pig használata a rendezéshez Apache Pig használatával a munkamenetek létrehozásához
1.2.5 Speciális csatlakozások
- Adatok egyesítése a Mapperben a MapReduce segítségével Adatok összekapcsolása Apache Pig replikált csatlakozással Rendezett adatok összekapcsolása Apache Pig egyesítési csatlakozással Ferde adatok összekapcsolása Apache Pig ferde csatlakozással Térképoldali csatlakozás használata Apache-ban Hive Optimalizált teljes külső illesztések használata Apache-ban Hive ] Adatok összekapcsolása külső kulcsérték-tároló használatával
1.3 Teljesítménydiagnosztika és optimalizálási technikák
- Térkép A bemeneti adatok tüskéinek vizsgálata A térképoldali adatok torzítási problémáinak azonosítása Térképfeladat átviteli sebesség Kis fájlok Feloszthatatlan fájlok
Követelmények
A résztvevőktől nem szükséges semmilyen speciális készség, mivel a képzés a végfelhasználói készségekre összpontosít, mind az adminisztrációhoz, mind az adatok Apache alatti kezeléséhez Hadoop
Vélemények (6)
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Kurzus - Impala for Business Intelligence
I thought he did a great job of tailoring the experience to the audience. This class is mostly designed to cover data analysis with HIVE, but me and my co-worker are doing HIVE administration with no real data analytics responsibilities.
ian reif - Franchise Tax Board
Kurzus - Data Analysis with Hive/HiveQL
Many hands-on sessions.
Jacek Pieczątka
Kurzus - Administrator Training for Apache Hadoop
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.
Safar Alqahtani - Elm Information Security
Kurzus - Big Data Analytics in Health
The fact that all the data and software was ready to use on an already prepared VM, provided by the trainer in external disks.
vyzVoice
Kurzus - Hadoop for Developers and Administrators
practical things of doing, also theory was served good by Ajay