Hadoop and Spark for Administrators Kurzusok

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használhatja a Sparkot a Python-vel a Big Data elemzésére.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a PySpark használatával végzett nagy adatelemzéshez.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megismerkedhetnek a technológiai kínálatokkal és a grafikonadatok feldolgozásának megvalósítási módszereivel. A cél a valós objektumok, jellemzőik és kapcsolataik azonosítása, majd a kapcsolatok modellezése és adatként való feldolgozása Graph Computing (más néven Graph Analytics) megközelítéssel. Kezdjük egy átfogó áttekintéssel, és leszűkítjük a konkrét eszközöket, miközben esettanulmányok, gyakorlati gyakorlatok és élő telepítések sorozatán lépkedünk végig.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a grafikonadatok megőrzését és bejárását.
• Válassza ki a legjobb keretrendszert egy adott feladathoz (a gráfadatbázisoktól a kötegelt feldolgozási keretrendszerekig).
• A Hadoop, a Spark, a GraphX és a Pregel megvalósítása számos gépen párhuzamosan végezhet gráfszámítást.
• Tekintse meg a valós big data problémákat grafikonok, folyamatok és bejárások formájában.

Az MLlib a Spark gépi tanulási (ML) könyvtára. Célja, hogy a gyakorlati gépi tanulás méretezhető és egyszerű legyen. Közös tanulási algoritmusokból és segédprogramokból áll, beleértve a besorolást, a regressziót, a klaszterezést, az együttműködő szűrést, a dimenziócsökkentést, valamint az alacsonyabb szintű optimalizálási primitíveket és a magasabb szintű csővezeték API-kat.

Ez két csomagra oszlik:

• A spark.mllib tartalmazza az RDD-re épített eredeti API-t.

• A spark.ml magasabb szintű API-t kínál, amely a DataFrames tetején épült ML-csővezetékek építéséhez.

Közönség

Ez a tanfolyam olyan mérnökökre és fejlesztőkre irányul, akik egy beépített gépkönyvtárat kívánnak használni az Apache Spark

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő labor környezetben.

Tanfolyam testreszabási lehetőségek

• Ha személyre szabott képzést szeretne kérni ehhez a tanfolyamhoz, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja Hortonworks Data Platform (HDP) és végigvezeti a résztvevőket a Spark + Hadoop megoldás bevezetésén.

A képzés végére a résztvevők képesek lesznek:

A Hortonworks segítségével megbízhatóan futtathatja a Hadoop-t nagy léptékben. Egyesítse a Hadoop biztonsági, irányítási és működési képességeit a Spark agilis analitikai munkafolyamataival. A Hortonworks segítségével vizsgálja meg, érvényesítse, hitelesítse és támogassa a Spark-projekt egyes összetevőit. Különböző típusú adatokat dolgozhat fel, beleértve a strukturált, strukturálatlan, mozgásban lévő és nyugalmi adatokat.

Apache Ambari egy nyílt forrású felügyeleti platform az Apache Hadoop fürtök biztosításához, kezeléséhez, felügyeletéhez és biztonságához.

Ebben az oktató által vezetett élő képzésen a résztvevők megtanulják az Ambari által biztosított menedzsment eszközöket és gyakorlatokat a Hadoop klaszterek sikeres kezeléséhez.

A képzés végére a résztvevők képesek lesznek:

• Állítson be egy élő Big Data fürtöt az Ambari használatával
• Alkalmazza az Ambari speciális szolgáltatásait és funkcióit különböző felhasználási esetekre
• Zökkenőmentesen adjon hozzá és távolítson el csomópontokat, ha szükséges
• Javítsa a Hadoop fürt teljesítményét hangolás és csípés révén

Közönség

• DevOps
• Rendszergazdák
• DBA
• Hadoop tesztelési szakemberek

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Ez a tanfolyam ismerteti a Hive SQL nyelv használatát (AKA: Hive HQL, SQL on Hive , Hive QL) azok számára, akik adatokat Hive a Hive

CÉLKITŰZÉS:

Ez a tanfolyam bemutatja az Apache Spark . A hallgatók megtanulják, hogyan illeszkedik a Spark a Big Data ökoszisztémájához, és hogyan lehet a Sparkot használni az adatok elemzéséhez. A tanfolyam kiterjed a Spark shellre az interaktív adatelemzéshez, a Spark belső részei, a Spark API-k, a Spark SQL , a Spark streaming, valamint a gépi tanulás és a graphX számára.

ÖSSZETÉTEL:

Fejlesztők / adatelemzők

A Magellan egy nyílt forráskódú, elosztott végrehajtó motor a nagy adatok geospatiális elemzésére. Végrehajtva a Apache Spark felett, kiterjeszti a Spark SQL és viszonylagos absztrakciót biztosít a geospatiális elemzéshez.

Ez az oktató-vezérelt, élő képzés bemutatja a koncepciókat és megközelítéseket a geospatiális elemzés végrehajtására, és a résztvevők az előrejelző elemzési alkalmazás létrehozásával járnak Magellan a Spark-on.

A képzés befejezése után a résztvevők képesek lesznek:

• Hatékonyan keresni, párosítani és csatlakozni a geospatiális adatkészleteket a skálán
• Geospatiális adatok alkalmazása az üzleti intelligenciában és az előrejelző analitikai alkalmazásokban
• Használja a térbeli kontextust a mobil eszközök, érzékelők, naplók és hordozható eszközök kapacitásainak bővítésére

A kurzus formája

• Interaktív előadás és vita.
• Rengeteg gyakorlat és gyakorlat.
• Hands-on megvalósítás egy élő laboratóriumi környezetben.

Szakképesítési lehetőségek

• Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

A Spark SQL az Apache Spark modulja strukturált és nem strukturált adatok kezelésére. A Spark SQL információkat nyújt az adatok felépítéséről és a végrehajtott számításról. Ez az információ felhasználható optimalizáláshoz. A Spark SQL két általános használata:
- SQL lekérdezések végrehajtása.
- a meglévő Hive telepítés adatainak olvasása.

Ebben az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan kell különféle típusú adatkészleteket elemezni a Spark SQL .

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Spark SQL .
• Végezzen adatelemzést a Spark SQL .
• Lekérdezés adatkészletek különböző formátumokban.
• Vizualizálja az adatokat és a lekérdezés eredményeit.

A tantárgy formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő laboratóriumi környezetben.

Tanfolyam testreszabási lehetőségek

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan állíthatnak be és integrálhatnak különböző Stream Processing keretrendszereket a meglévő nagy adattároló rendszerekkel, valamint a kapcsolódó szoftveralkalmazásokkal és mikroszolgáltatásokkal.

A képzés végére a résztvevők képesek lesznek:

• Telepítsen és konfiguráljon különböző Stream Processing keretrendszereket, mint például a Spark Streaming és a Kafka Streaming.
• Ismerje meg és válassza ki a legmegfelelőbb keretet a munkához.
• Adatfeldolgozás folyamatosan, párhuzamosan és rekordonként.
• Integrálja Stream Processing megoldásait meglévő adatbázisokkal, adattárházakkal, adattókkal stb.
• Integrálja a legmegfelelőbb adatfolyam-feldolgozási könyvtárat a vállalati alkalmazásokkal és mikroszolgáltatásokkal.

A nagy adatelemzés magában foglalja a nagy mennyiségű, változatos adatkészlet vizsgálatát a korrelációk, rejtett minták és egyéb hasznos betekintések feltárása érdekében.

Az egészségügyi ágazat hatalmas mennyiségű komplex, heterogén orvosi és klinikai adatot tartalmaz. A nagy adatelemzés alkalmazása az egészségügyi adatokra hatalmas potenciállal jár ahhoz, hogy betekintést szerezzen az egészségügyi ellátás javításában. Ezen adatkészletek hatalmassága azonban nagy kihívást jelent az elemzésekben és a klinikai környezetben történő gyakorlati alkalmazásokban.

Ebben az oktató által vezetett, élő (távoli) képzésen a résztvevők megtanulják, hogyan végezzen nagy adatelemzést az egészségben, miközben gyakorlati élő laboratóriumi gyakorlatokat végeznek.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a nagy adatelemző eszközöket, például a Hadoop MapReduce és a Spark
• Megérteni az orvosi adatok jellemzőit
• Nagyméretű technikák alkalmazása az orvosi adatok kezelésére
• Tanulmányozza a nagy adatrendszereket és algoritmusokat az egészségügyi alkalmazások összefüggésében

Közönség

• Fejlesztők
• Adattudósok

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat.

jegyzet

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Apache Spark tanulási görbéje eleinte lassan növekszik, sok erőfeszítésre van szükség az első visszatéréshez. Ez a tanfolyam célja az első nehéz rész átlépése. A tanfolyam elvégzése után a résztvevők megértik az Apache Spark alapjait, egyértelműen megkülönböztetik az RDD-t a DataFrame-től, megtanulják a Python és a Scala API-kat, megértik a végrehajtókat és a feladatokat, stb. A bevált gyakorlatokat követve ez a kurzus erősen a következőkre koncentrál: felhő telepítése, Databricks és AWS. A hallgatók megértik az AWS EMR és az AWS Glue, az AWS egyik legújabb Spark szolgáltatásának különbségeit is.

KÖZÖNSÉG:

DevOps , DevOps , Data Scientist