Apache Spark Kurzusok

Python egy méretezhető, rugalmas és széles körben használt programozási nyelv az adattudomány és a gépi tanulás számára. A Spark egy adatfeldolgozó motor, amelyet a nagy adatok lekérdezésében, elemzésében és átalakításában használnak, miközben Hadoop egy szoftverkönyvtár keretrendszer a nagyszabású adatok tárolására és feldolgozására. Ez az oktató által vezetett, élő képzés (online vagy online) olyan fejlesztőknek szól, akik szeretnék használni és integrálni a Spark-t, Hadoop, és Python a nagy és összetett adatkészletek feldolgozására, elemzésére és átalakítására. A képzés befejezése után a résztvevők képesek lesznek:

Hozzon létre a szükséges környezetet a nagy adatok feldolgozásának megkezdéséhez a Spark, Hadoop, és Python segítségével. Ismerje meg a tulajdonságokat, a központi összetevőket és az építészet a Spark és Hadoop. Ismerje meg, hogyan kell integrálni a Spark, Hadoop, és Python a nagy adatfeldolgozás. Fedezze fel az eszközöket a Spark ökoszisztémában (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka és Flume). Hozzon létre együttműködő szűrő ajánlás rendszerek hasonló Netflix, YouTube, Amazon, Spotify, és Google. Használja az Apache Mahout-ot a gépi tanulási algoritmusok méretezéséhez.

A kurzus formája

Interaktív előadás és vita. Rengeteg gyakorlat és gyakorlat. Hands-on megvalósítás egy élő laboratóriumi környezetben.

Szakképesítési lehetőségek

Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

In this instructor-led, live training in Magyarország, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises. By the end of this training, participants will be able to:

• Learn how to use Spark with Python to analyze Big Data.
• Work on exercises that mimic real world cases.
• Use different tools and techniques for big data analysis using PySpark.

CÉLKITŰZÉS: Ez a tanfolyam bemutatja az Apache Spark . A hallgatók megtanulják, hogyan illeszkedik a Spark a Big Data ökoszisztémájához, és hogyan lehet a Sparkot használni az adatok elemzéséhez. A tanfolyam kiterjed a Spark shellre az interaktív adatelemzéshez, a Spark belső részei, a Spark API-k, a Spark SQL , a Spark streaming, valamint a gépi tanulás és a graphX számára. ÖSSZETÉTEL: Fejlesztők / adatelemzők

Hortonworks Data Platform (HDP) egy nyílt forráskódú Apache Hadoop támogatási platform, amely stabil alapot nyújt nagy adatmegoldások kifejlesztéséhez az Apache Hadoop ökoszisztémán. Ez az oktató által irányított, élő (helyszíni vagy távoli) képzés bemutatja a Hortonworks Data Platform (HDP) és a résztvevőket a Spark + Hadoop megoldás telepítésével járja el. A képzés végére a résztvevők képesek lesznek:

• Használja a Hortonworks alkalmazást a Hadoop nagyméretű megbízható futtatásához.
• Egyesítse a Hadoop biztonsági, irányítási és működési képességeit a Spark agilis elemző munkafolyamataival.
• A Hortonworks segítségével vizsgálhatja meg, érvényesítse, tanúsítsa és támogassa a Spark projekt minden egyes elemét.
• Különböző típusú adatok feldolgozása, ideértve a strukturált, nem strukturált, mozgásban lévő és nyugalmi állapotban lévő adatokat is.

A tantárgy formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő laboratóriumi környezetben.

Tanfolyam testreszabási lehetőségek

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

A Magellan egy nyílt forráskódú, elosztott végrehajtó motor a nagy adatok geospatiális elemzésére. Végrehajtva a Apache Spark felett, kiterjeszti a Spark SQL és viszonylagos absztrakciót biztosít a geospatiális elemzéshez. Ez az oktató-vezérelt, élő képzés bemutatja a koncepciókat és megközelítéseket a geospatiális elemzés végrehajtására, és a résztvevők az előrejelző elemzési alkalmazás létrehozásával járnak Magellan a Spark-on. A képzés befejezése után a résztvevők képesek lesznek:

Hatékonyan keresni, párosítani és csatlakozni a geospatiális adatkészleteket a skálán Geospatiális adatok alkalmazása az üzleti intelligenciában és az előrejelző analitikai alkalmazásokban Használja a térbeli kontextust a mobil eszközök, érzékelők, naplók és hordozható eszközök kapacitásainak bővítésére

A kurzus formája

Interaktív előadás és vita. Rengeteg gyakorlat és gyakorlat. Hands-on megvalósítás egy élő laboratóriumi környezetben.

Szakképesítési lehetőségek

Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

Alluxio egy nyílt forráskódú virtuális elosztott tárolási rendszer, amely egyesíti a különböző tárolási rendszerek és lehetővé teszi a alkalmazások, hogy kölcsönhatásba az adatok a memória sebességgel. Olyan cégek, mint az Intel, a Baidu és az Alibaba. Ebben az oktató által vezetett, élő képzésben a résztvevők megtanulják, hogyan kell használni Alluxio különböző számítási kereteket tároló rendszerekkel és hatékonyan kezelni a multi-petabyte méretű adatokat, miközben egy alkalmazás létrehozásán keresztül lépnek Alluxio. A képzés befejezése után a résztvevők képesek lesznek:

Fejleszteni egy alkalmazást Alluxio A nagy adatrendszerek és alkalmazások összekapcsolása egy névtér megőrzésével Hatékonyan kivonja az értékeket a nagy adatokból bármely tárolási formátumban A munkaerő teljesítményének javítása Elhelyezése és kezelése Alluxio önálló vagy csoportosított

közönség

adat tudós Fejlesztő rendszer adminisztrátor

A kurzus formázása

Részes előadások, részes viták, gyakorlatok és nehéz gyakorlatok

A Spark SQL az Apache Spark modulja strukturált és nem strukturált adatok kezelésére. A Spark SQL információkat nyújt az adatok felépítéséről és a végrehajtott számításról. Ez az információ felhasználható optimalizáláshoz. A Spark SQL két általános használata:
- SQL lekérdezések végrehajtása.
- a meglévő Hive telepítés adatainak olvasása. Ebben az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan kell különféle típusú adatkészleteket elemezni a Spark SQL . A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Spark SQL .
• Végezzen adatelemzést a Spark SQL .
• Lekérdezés adatkészletek különböző formátumokban.
• Vizualizálja az adatokat és a lekérdezés eredményeit.

A tantárgy formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő laboratóriumi környezetben.

Tanfolyam testreszabási lehetőségek

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Stream Processing -feldolgozás a „mozgásban lévő adatok” valós idejű feldolgozására vonatkozik, vagyis a számítások elvégzésére az adatokra, amint azok beérkeznek. Ezek az adatok olvasható folyamatként adatforrásokból származó, mint érzékelő események honlap felhasználói aktivitás, anyagi ágakban, hitelkártya csúsztatással kattintson patakok, stb Stream Processing keretek képesek olvasni nagy mennyiségű bejövő adatokat, és értékes betekintést szinte azonnal. Ebben az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan állítson össze és integráljon különféle Stream Processing kereteket a meglévő nagy adattárolási rendszerekhez, valamint a kapcsolódó szoftveralkalmazásokhoz és mikroszolgáltatásokhoz. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a különféle Stream Processing kereteket, például a Spark Streaming és a Kafka Streaming.
• Megérteni és kiválasztani a feladathoz legmegfelelőbb keretet.
• Az adatok feldolgozása folyamatosan, egyidejűleg és rekordonként.
• Integrálja az Stream Processing megoldásokat a meglévő adatbázisokkal, adattárházakkal, adattavakkal stb.
• Integrálja a legmegfelelőbb adatfeldolgozó könyvtárat a vállalati alkalmazásokkal és a mikro-szolgáltatásokkal.

Közönség

• Fejlesztők
• Szoftvertervezők

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Megjegyzések

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

A nagy adatelemzés magában foglalja a nagy mennyiségű, változatos adatkészlet vizsgálatát a korrelációk, rejtett minták és egyéb hasznos betekintések feltárása érdekében. Az egészségügyi ágazat hatalmas mennyiségű komplex, heterogén orvosi és klinikai adatot tartalmaz. A nagy adatelemzés alkalmazása az egészségügyi adatokra hatalmas potenciállal jár ahhoz, hogy betekintést szerezzen az egészségügyi ellátás javításában. Ezen adatkészletek hatalmassága azonban nagy kihívást jelent az elemzésekben és a klinikai környezetben történő gyakorlati alkalmazásokban. Ebben az oktató által vezetett, élő (távoli) képzésen a résztvevők megtanulják, hogyan végezzen nagy adatelemzést az egészségben, miközben gyakorlati élő laboratóriumi gyakorlatokat végeznek. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a nagy adatelemző eszközöket, például a Hadoop MapReduce és a Spark
• Megérteni az orvosi adatok jellemzőit
• Nagyméretű technikák alkalmazása az orvosi adatok kezelésére
• Tanulmányozza a nagy adatrendszereket és algoritmusokat az egészségügyi alkalmazások összefüggésében

Közönség

• Fejlesztők
• Adattudósok

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat.

jegyzet

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Apache Spark tanulási görbéje eleinte lassan növekszik, sok erőfeszítésre van szükség az első visszatéréshez. Ez a tanfolyam célja az első nehéz rész átlépése. A tanfolyam elvégzése után a résztvevők megértik az Apache Spark alapjait, egyértelműen megkülönböztetik az RDD-t a DataFrame-től, megtanulják a Python és a Scala API-kat, megértik a végrehajtókat és a feladatokat, stb. A bevált gyakorlatokat követve ez a kurzus erősen a következőkre koncentrál: felhő telepítése, Databricks és AWS. A hallgatók megértik az AWS EMR és az AWS Glue, az AWS egyik legújabb Spark szolgáltatásának különbségeit is. KÖZÖNSÉG: DevOps , DevOps , Data Scientist

Scala a Java tömörített változata nagyszabású funkcionális és objektum-orientált programozáshoz. Apache Spark Streaming a Spark API kibővített összetevője nagy adatkészletek valós idejű adatfolyamként történő feldolgozására. A Spark Streaming és a Scala lehetővé teszik a nagy adatok streamingjét. Ez az oktató által irányított, élő képzés (helyszíni vagy távoli) olyan szoftvermérnököknek szól, akik nagy adatátvitelt kívánnak folytatni a Spark Streaming és a Scala . A képzés végére a résztvevők képesek lesznek:

• Hozzon létre Spark alkalmazásokat a Scala programozási nyelven.
• A Spark Streaming segítségével folyamatos adatfolyamokat dolgozhat fel.
• A valós idejű adatfolyamok feldolgozása a Spark Streaming segítségével.

A tantárgy formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő laboratóriumi környezetben.

Tanfolyam testreszabási lehetőségek

• Ha személyre szabott képzést szeretne kérni erre a kurzusra, kérjük vegye fel velünk a kapcsolatot, hogy megbeszélést szervezzen.

A SMACK az adatplatform szoftverek gyűjteménye, nevezetesen Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, és Apache Kafka. A SMACK stack használatával a felhasználók létrehozhatják és méretezhetik az adatfeldolgozó platformokat. Ez az oktató által vezetett, élő képzés (online vagy on-site) olyan adattudósokra irányul, akik a SMACK stack-t szeretnék használni az adatfeldolgozó platformok létrehozásához a nagy adatmegoldásokhoz. A képzés befejezése után a résztvevők képesek lesznek:

A nagy adatok feldolgozására szolgáló adatcsövek architektúrájának megvalósítása. Fejleszteni a klaszter infrastruktúráját Apache Mesos és Docker. Az adatok elemzése a Spark és Scala segítségével. A nem strukturált adatok kezelése az Apache segítségével Cassandra.

A kurzus formája

Interaktív előadás és vita. Rengeteg gyakorlat és gyakorlat. Hands-on megvalósítás egy élő laboratóriumi környezetben.

Szakképesítési lehetőségek

Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

Apache Spark egy analitikai motor, amelynek célja az adatok egy csoporton át történő elosztása annak érdekében, hogy párhuzamosan feldolgozzák. Tartalmaz modulok streaming, SQL, gépi tanulás és grafikus feldolgozás. Ez az oktató által vezetett, élő képzés (online vagy online) olyan mérnökökre irányul, akik nagyon nagy mennyiségű adat feldolgozására törekszenek Apache Spark rendszerbe. A képzés befejezése után a résztvevők képesek lesznek:

Beállítása és beállítása Apache Spark. Ismerje meg a különbséget a Apache Spark és Hadoop MapReduce és mikor kell használni melyik. Gyorsan olvasni  és elemezni nagyon nagy adatkészleteket. Integrálja Apache Spark más gépi tanulási eszközökkel.

A kurzus formája

Interaktív előadás és vita. Rengeteg gyakorlat és gyakorlat. Hands-on megvalósítás egy élő laboratóriumi környezetben.

Szakképesítési lehetőségek

Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

Apache Spark egy elosztott feldolgozómotor, amely nagyon nagy adatkészleteket elemez. Az adatokat csomagokban és valós időben feldolgozhatja, valamint gépi tanulást, ad hoc lekérdezéseket és grafikus feldolgozást végezhet. A.NET for Apache Spark egy ingyenes, nyílt forráskódú és cross-platform nagy adatelemzési keretrendszer, amely támogatja az alkalmazásokat, amelyeket C# vagy F# írtak. Ez az oktató által vezetett, élő képzés (online vagy online) azoknak a fejlesztőknek szól, akik nagy adatelemzést szeretnének végrehajtani a.NET alkalmazásukban. A képzés befejezése után a résztvevők képesek lesznek:

Beállítása és konfigurálása Apache Spark. Ismerje meg, hogy a.NET hogyan hajtja végre a Spark API-kat, hogy hozzáférhető legyenek egy.NET alkalmazásból. Fejleszteni az adatfeldolgozó alkalmazások használatával C# vagy F#, képes kezelni az adatkészleteket, amelynek mérete terabyte és pedabyte. Fejleszteni a gépi tanulási funkciók egy.NET alkalmazás használatával Apache Spark képességek. Végezze el a kutatási elemzést a nagy adatkészletek SQL lekérdezésével.

A kurzus formája

Interaktív előadás és vita. Rengeteg gyakorlat és gyakorlat. Hands-on megvalósítás egy élő laboratóriumi környezetben.

Szakképesítési lehetőségek

Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

Az Apache Hadoop egy népszerű adatfeldolgozási keret a nagy adatkészletek feldolgozására számos számítógépen. Ez az oktató által vezetett, élő képzés (online vagy online) olyan rendszergazdákra irányul, akik szeretnék megtanulni, hogyan kell létrehozni, telepíteni és kezelni Hadoop csoportokat szervezetükön belül. A képzés befejezése után a résztvevők képesek lesznek:

Az Apache telepítése és konfigurálása Hadoop. Ismerje meg a Hadoop ökoszisztéma négy fő összetevőjét: HDFS, MapReduce, YARN és Hadoop Common. Használja Hadoop Distributed File System (HDFS), hogy egy oszlopot több száz vagy több ezer csomópontra méretezzen. •   Telepítse a HDFS-t, hogy tárolómotorként működjön az on-premise Spark telepítésekhez. A Spark beállítása az alternatív tárolási megoldásokhoz való hozzáféréshez, mint például az Amazon S3 és NoSQL adatbázis-rendszerekhez, mint például a Redis, Elasticsearch, a Couchbase, Aerospike, stb. Végezzen adminisztratív feladatokat, mint például az Apache Hadoop klaszter biztosítása, kezelése, nyomon követése és biztosítása.

A kurzus formája

Interaktív előadás és vita. Rengeteg gyakorlat és gyakorlat. Hands-on megvalósítás egy élő laboratóriumi környezetben.

Szakképesítési lehetőségek

Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

This instructor-led, live training in Magyarország (online or onsite) is aimed at data scientists and developers who wish to use Spark NLP, built on top of Apache Spark, to develop, implement, and scale natural language text processing models and pipelines. By the end of this training, participants will be able to:

• Set up the necessary development environment to start building NLP pipelines with Spark NLP.
• Understand the features, architecture, and benefits of using Spark NLP.
• Use the pre-trained models available in Spark NLP to implement text processing.
• Learn how to build, train, and scale Spark NLP models for production-grade projects.
• Apply classification, inference, and sentiment analysis on real-world use cases (clinical data, customer behavior insights, etc.).

Az MLlib a Spark gépi tanulási (ML) könyvtára. Célja, hogy a gyakorlati gépi tanulás méretezhető és egyszerű legyen. Közös tanulási algoritmusokból és segédprogramokból áll, beleértve a besorolást, a regressziót, a klaszterezést, az együttműködő szűrést, a dimenziócsökkentést, valamint az alacsonyabb szintű optimalizálási primitíveket és a magasabb szintű csővezeték API-kat. Ez két csomagra oszlik:

• A spark.mllib tartalmazza az RDD-re épített eredeti API-t.
• A spark.ml magasabb szintű API-t kínál, amely a DataFrames tetején épült ML-csővezetékek építéséhez.

Közönség Ez a tanfolyam olyan mérnökökre és fejlesztőkre irányul, akik egy beépített gépkönyvtárat kívánnak használni az Apache Spark

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

Számos valódi világprobléma leírható grafikonokkal. Például a webes gráf, a közösségi hálózati gráf, a vonathálózati gráf és a nyelvi gráf. Ezek a grafikonok általában rendkívül nagyok; feldolgozásukhoz speciális eszközök és folyamatok szükségesek - ezeket az eszközöket és folyamatokat Graph Computing (más néven Graph Analytics) lehet nevezni. Ebben az oktató által vezetett, élő képzésen a résztvevők megismerkednek a grafikus adatok feldolgozásának technológiai kínálatával és megvalósítási módszereivel. A cél az, hogy azonosítsuk a valós objektumokat, azok jellemzőit és összefüggéseit, majd modellezzük ezeket a kapcsolatokat és adatként dolgozzuk fel Graph Computing (más néven Graph Analytics) megközelítéssel. Az esettanulmányok, a gyakorlati gyakorlatok és az élő telepítések sorozatán keresztül átfogó áttekintéssel és a konkrét eszközök szűk keresztmetszetével kezdjük. A képzés végére a résztvevők képesek lesznek:

• Tudja meg, hogy a grafikon adatai megmaradnak és hogyan haladnak át.
• Válassza ki az adott feladat legjobb keretét (a grafikon adatbázisoktól a kötegelt feldolgozási keretekig).
• Végrehajtja a Hadoop , a Spark, a GraphX és a Pregel alkalmazást a GraphX elvégzésére párhuzamosan sok gépen.
• Tekintse meg a valós nagy adatokkal kapcsolatos problémákat grafikonok, folyamatok és átjárások szempontjából.

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat