Apache Spark SQL Kurzusok

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használhatja a Sparkot a Python-vel a Big Data elemzésére.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a PySpark használatával végzett nagy adatelemzéshez.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megismerkedhetnek a technológiai kínálatokkal és a grafikonadatok feldolgozásának megvalósítási módszereivel. A cél a valós objektumok, jellemzőik és kapcsolataik azonosítása, majd a kapcsolatok modellezése és adatként való feldolgozása Graph Computing (más néven Graph Analytics) megközelítéssel. Kezdjük egy átfogó áttekintéssel, és leszűkítjük a konkrét eszközöket, miközben esettanulmányok, gyakorlati gyakorlatok és élő telepítések sorozatán lépkedünk végig.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a grafikonadatok megőrzését és bejárását.
• Válassza ki a legjobb keretrendszert egy adott feladathoz (a gráfadatbázisoktól a kötegelt feldolgozási keretrendszerekig).
• A Hadoop, a Spark, a GraphX és a Pregel megvalósítása számos gépen párhuzamosan végezhet gráfszámítást.
• Tekintse meg a valós big data problémákat grafikonok, folyamatok és bejárások formájában.

Az MLlib a Spark gépi tanulási (ML) könyvtára. Célja, hogy a gyakorlati gépi tanulás méretezhető és egyszerű legyen. Közös tanulási algoritmusokból és segédprogramokból áll, beleértve a besorolást, a regressziót, a klaszterezést, az együttműködő szűrést, a dimenziócsökkentést, valamint az alacsonyabb szintű optimalizálási primitíveket és a magasabb szintű csővezeték API-kat.

Ez két csomagra oszlik:

• A spark.mllib tartalmazza az RDD-re épített eredeti API-t.

• A spark.ml magasabb szintű API-t kínál, amely a DataFrames tetején épült ML-csővezetékek építéséhez.

Közönség

Ez a tanfolyam olyan mérnökökre és fejlesztőkre irányul, akik egy beépített gépkönyvtárat kívánnak használni az Apache Spark

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő labor környezetben.

Tanfolyam testreszabási lehetőségek

• Ha személyre szabott képzést szeretne kérni ehhez a tanfolyamhoz, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

CÉLKITŰZÉS:

Ez a tanfolyam bemutatja az Apache Spark . A hallgatók megtanulják, hogyan illeszkedik a Spark a Big Data ökoszisztémájához, és hogyan lehet a Sparkot használni az adatok elemzéséhez. A tanfolyam kiterjed a Spark shellre az interaktív adatelemzéshez, a Spark belső részei, a Spark API-k, a Spark SQL , a Spark streaming, valamint a gépi tanulás és a graphX számára.

ÖSSZETÉTEL:

Fejlesztők / adatelemzők

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja Hortonworks Data Platform (HDP) és végigvezeti a résztvevőket a Spark + Hadoop megoldás bevezetésén.

A képzés végére a résztvevők képesek lesznek:

A Hortonworks segítségével megbízhatóan futtathatja a Hadoop-t nagy léptékben. Egyesítse a Hadoop biztonsági, irányítási és működési képességeit a Spark agilis analitikai munkafolyamataival. A Hortonworks segítségével vizsgálja meg, érvényesítse, hitelesítse és támogassa a Spark-projekt egyes összetevőit. Különböző típusú adatokat dolgozhat fel, beleértve a strukturált, strukturálatlan, mozgásban lévő és nyugalmi adatokat.

A Magellan egy nyílt forráskódú, elosztott végrehajtó motor a nagy adatok geospatiális elemzésére. Végrehajtva a Apache Spark felett, kiterjeszti a Spark SQL és viszonylagos absztrakciót biztosít a geospatiális elemzéshez.

Ez az oktató-vezérelt, élő képzés bemutatja a koncepciókat és megközelítéseket a geospatiális elemzés végrehajtására, és a résztvevők az előrejelző elemzési alkalmazás létrehozásával járnak Magellan a Spark-on.

A képzés befejezése után a résztvevők képesek lesznek:

• Hatékonyan keresni, párosítani és csatlakozni a geospatiális adatkészleteket a skálán
• Geospatiális adatok alkalmazása az üzleti intelligenciában és az előrejelző analitikai alkalmazásokban
• Használja a térbeli kontextust a mobil eszközök, érzékelők, naplók és hordozható eszközök kapacitásainak bővítésére

A kurzus formája

• Interaktív előadás és vita.
• Rengeteg gyakorlat és gyakorlat.
• Hands-on megvalósítás egy élő laboratóriumi környezetben.

Szakképesítési lehetőségek

• Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan állíthatnak be és integrálhatnak különböző Stream Processing keretrendszereket a meglévő nagy adattároló rendszerekkel, valamint a kapcsolódó szoftveralkalmazásokkal és mikroszolgáltatásokkal.

A képzés végére a résztvevők képesek lesznek:

• Telepítsen és konfiguráljon különböző Stream Processing keretrendszereket, mint például a Spark Streaming és a Kafka Streaming.
• Ismerje meg és válassza ki a legmegfelelőbb keretet a munkához.
• Adatfeldolgozás folyamatosan, párhuzamosan és rekordonként.
• Integrálja Stream Processing megoldásait meglévő adatbázisokkal, adattárházakkal, adattókkal stb.
• Integrálja a legmegfelelőbb adatfolyam-feldolgozási könyvtárat a vállalati alkalmazásokkal és mikroszolgáltatásokkal.

A nagy adatelemzés magában foglalja a nagy mennyiségű, változatos adatkészlet vizsgálatát a korrelációk, rejtett minták és egyéb hasznos betekintések feltárása érdekében.

Az egészségügyi ágazat hatalmas mennyiségű komplex, heterogén orvosi és klinikai adatot tartalmaz. A nagy adatelemzés alkalmazása az egészségügyi adatokra hatalmas potenciállal jár ahhoz, hogy betekintést szerezzen az egészségügyi ellátás javításában. Ezen adatkészletek hatalmassága azonban nagy kihívást jelent az elemzésekben és a klinikai környezetben történő gyakorlati alkalmazásokban.

Ebben az oktató által vezetett, élő (távoli) képzésen a résztvevők megtanulják, hogyan végezzen nagy adatelemzést az egészségben, miközben gyakorlati élő laboratóriumi gyakorlatokat végeznek.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a nagy adatelemző eszközöket, például a Hadoop MapReduce és a Spark
• Megérteni az orvosi adatok jellemzőit
• Nagyméretű technikák alkalmazása az orvosi adatok kezelésére
• Tanulmányozza a nagy adatrendszereket és algoritmusokat az egészségügyi alkalmazások összefüggésében

Közönség

• Fejlesztők
• Adattudósok

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat.

jegyzet

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Apache Spark tanulási görbéje eleinte lassan növekszik, sok erőfeszítésre van szükség az első visszatéréshez. Ez a tanfolyam célja az első nehéz rész átlépése. A tanfolyam elvégzése után a résztvevők megértik az Apache Spark alapjait, egyértelműen megkülönböztetik az RDD-t a DataFrame-től, megtanulják a Python és a Scala API-kat, megértik a végrehajtókat és a feladatokat, stb. A bevált gyakorlatokat követve ez a kurzus erősen a következőkre koncentrál: felhő telepítése, Databricks és AWS. A hallgatók megértik az AWS EMR és az AWS Glue, az AWS egyik legújabb Spark szolgáltatásának különbségeit is.

KÖZÖNSÉG:

DevOps , DevOps , Data Scientist

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a szoftvermérnököknek szól, akik nagy adatokat szeretnének streamelni a Spark Streaming és a Scala segítségével.

A képzés végére a résztvevők képesek lesznek:

• Hozzon létre Spark alkalmazásokat a Scala programozási nyelvvel.
• Az Spark Streaming segítségével folyamatos adatfolyamokat dolgozhat fel.
• Valós idejű adatfolyamok feldolgozása az Spark Streaming segítségével.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adattudósoknak szól, akik a SMACK verem segítségével adatfeldolgozási platformokat szeretnének felépíteni big data megoldásokhoz.

A képzés végére a résztvevők képesek lesznek:

• Valósítson meg egy adatfolyam-architektúrát a nagy adatok feldolgozásához.
• Fürt infrastruktúra fejlesztése Apache Mesos és Docker segítségével.
• Elemezze az adatokat a Spark és a Scala segítségével.
• Kezelje a strukturálatlan adatokat az Apache Cassandra segítségével.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a mérnököknek szól, akik Apache Spark rendszert szeretnének felállítani és telepíteni nagyon nagy mennyiségű adat feldolgozására.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Sparkot.
• Nagyon nagy adatkészletek gyors feldolgozása és elemzése.
• Ismerje meg az Apache Spark és az Hadoop MapReduce közötti különbséget, és hogy mikor melyiket használja.
• Integrálja az Apache Sparkot más gépi tanulási eszközökkel.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik nagy adatelemzést szeretnének végezni a Apache Spark segítségével .NET-alkalmazásaikban.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Sparkot.
• Ismerje meg, hogyan valósítja meg a .NET a Spark API-kat, hogy azok egy .NET-alkalmazásból is elérhetők legyenek.
• Adatfeldolgozó alkalmazások fejlesztése C# vagy F# használatával, amelyek képesek kezelni a terabájtban és pedabájtban mért adatkészleteket.
• Gépi tanulási funkciók fejlesztése .NET-alkalmazásokhoz az Apache Spark képességeinek használatával.
• Végezzen feltáró elemzést SQL lekérdezések segítségével nagy adathalmazokon.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a rendszergazdáknak szól, akik szeretnék megtanulni, hogyan állíthatnak be, telepíthetnek és kezelhetnek Hadoop fürtöket szervezetükön belül.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Hadoop-ot.
• Ismerje meg a Hadoop ökoszisztéma négy fő összetevőjét: HDFS, MapReduce, YARN és Hadoop Common.
• A Hadoop Distributed File System (HDFS) segítségével a fürt több száz vagy több ezer csomópontra méretezhető.
• Állítsa be a HDFS-t, hogy tárolómotorként működjön a helyszíni Spark-telepítésekhez.
• Állítsa be a Sparkot az olyan alternatív tárolási megoldások eléréséhez, mint az Amazon S3 és a NoSQL adatbázisrendszerek, például a Redis, az Elasticsearch, a Couchbase, az Aerospike stb.
• Adminisztratív feladatok végrehajtása, például egy Apache Hadoop-fürt létrehozása, kezelése, figyelése és biztonsága.