Python, Spark, and Hadoop for Big Data Képzés

Ez a kurzus azoknak a fejlesztőknek és adattudósoknak szól, akik szeretnék megérteni és megvalósítani a mesterséges intelligenciát alkalmazásaikban. Különös hangsúlyt kap az adatelemzés, az elosztott mesterséges intelligencia és a természetes nyelvi feldolgozás.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) középszintű adattudósoknak és mérnököknek szól, akik szeretnék használni az Google Colab-ot és a Apache Spark-t big data feldolgozására és elemzésére.

A képzés végére a résztvevők képesek lesznek:

• Állítson be egy big data környezetet az Google Colab és a Spark segítségével.
• Nagy adathalmazok hatékony feldolgozása és elemzése a Apache Spark segítségével.
• Vizualizálja a nagy adatokat egy együttműködési környezetben.
• Integrálja a Apache Spark-t felhőalapú eszközökkel.

A nagy adatelemzés magában foglalja a nagy mennyiségű, változatos adatkészlet vizsgálatát a korrelációk, rejtett minták és egyéb hasznos betekintések feltárása érdekében.

Az egészségügyi ágazat hatalmas mennyiségű komplex, heterogén orvosi és klinikai adatot tartalmaz. A nagy adatelemzés alkalmazása az egészségügyi adatokra hatalmas potenciállal jár ahhoz, hogy betekintést szerezzen az egészségügyi ellátás javításában. Ezen adatkészletek hatalmassága azonban nagy kihívást jelent az elemzésekben és a klinikai környezetben történő gyakorlati alkalmazásokban.

Ebben az oktató által vezetett, élő (távoli) képzésen a résztvevők megtanulják, hogyan végezzen nagy adatelemzést az egészségben, miközben gyakorlati élő laboratóriumi gyakorlatokat végeznek.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a nagy adatelemző eszközöket, például a Hadoop MapReduce és a Spark
• Megérteni az orvosi adatok jellemzőit
• Nagyméretű technikák alkalmazása az orvosi adatok kezelésére
• Tanulmányozza a nagy adatrendszereket és algoritmusokat az egészségügyi alkalmazások összefüggésében

Közönség

• Fejlesztők
• Adattudósok

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat.

jegyzet

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megismerkedhetnek a technológiai kínálatokkal és a grafikonadatok feldolgozásának megvalósítási módszereivel. A cél a valós objektumok, jellemzőik és kapcsolataik azonosítása, majd a kapcsolatok modellezése és adatként való feldolgozása Graph Computing (más néven Graph Analytics) megközelítéssel. Kezdjük egy átfogó áttekintéssel, és leszűkítjük a konkrét eszközöket, miközben esettanulmányok, gyakorlati gyakorlatok és élő telepítések sorozatán lépkedünk végig.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a grafikonadatok megőrzését és bejárását.
• Válassza ki a legjobb keretrendszert egy adott feladathoz (a gráfadatbázisoktól a kötegelt feldolgozási keretrendszerekig).
• A Hadoop, a Spark, GraphX és a Pregel megvalósítása számos gépen párhuzamosan végezhet gráfszámítást.
• Tekintse meg a valós világban felmerülő big data problémákat grafikonok, folyamatok és bejárások formájában.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a rendszergazdáknak szól, akik szeretnék megtanulni, hogyan állíthatnak be, telepíthetnek és kezelhetnek Hadoop fürtöket szervezetükön belül.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Hadoop-ot.
• Ismerje meg a Hadoop ökoszisztéma négy fő összetevőjét: HDFS, MapReduce, YARN és Hadoop Common.
• A Hadoop Distributed File System (HDFS) segítségével a fürt több száz vagy több ezer csomópontra méretezhető.
• Állítsa be a HDFS-t, hogy tárolómotorként működjön a helyszíni Spark-telepítésekhez.
• Állítsa be a Sparkot az olyan alternatív tárolási megoldások eléréséhez, mint az Amazon S3 és a NoSQL adatbázisrendszerek, például a Redis, az Elasticsearch, a Couchbase, az Aerospike stb.
• Adminisztratív feladatok végrehajtása, például egy Apache Hadoop-fürt létrehozása, kezelése, figyelése és biztonsága.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja Hortonworks Data Platform (HDP)-et, és végigvezeti a résztvevőket a Spark + Hadoop megoldás bevezetésén.

A képzés végére a résztvevők képesek lesznek:

• A Hortonworks segítségével megbízhatóan futtathatja a Hadoop-t nagy léptékben.
• Egyesítse a Hadoop biztonsági, irányítási és működési képességeit a Spark agilis analitikai munkafolyamataival.
• A Hortonworks segítségével vizsgálja meg, érvényesítse, hitelesítse és támogassa a Spark-projekt egyes összetevőit.
• Különböző típusú adatokat dolgozhat fel, beleértve a strukturált, strukturálatlan, mozgásban lévő és nyugalmi adatokat.

Ez a tanfolyam ismerteti a Hive SQL nyelv használatát (AKA: Hive HQL, SQL on Hive , Hive QL) azok számára, akik adatokat Hive a Hive

A Cloudera Impala egy nyílt forráskódú, masszívan párhuzamos feldolgozású (MPP) SQL lekérdezőmotor Apache Hadoop fürtökhöz.

A Impala lehetővé teszi a felhasználók számára, hogy alacsony késleltetésű SQL lekérdezéseket küldjenek a Hadoop Distributed File Systemben és az Apache Hbase-ben tárolt adatokhoz anélkül, hogy adatmozgatást vagy átalakítást kellene végezniük.

Közönség

Ez a kurzus azoknak az elemzőknek és adattudósoknak szól, akik a Hadoop-ban tárolt adatokon elemzik a Business Intelligence vagy SQL eszközöket.

A tanfolyam után a küldöttek képesek lesznek

• A Impala segítségével nyerjen ki értelmes információkat a Hadoop klaszterekből.
• Írjon speciális programokat a Business Intelligencia megkönnyítésére a Impala SQL nyelvjárásban.
• Hibaelhárítás Impala.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan állíthatnak be és integrálhatnak különböző Stream Processing keretrendszereket a meglévő nagy adattároló rendszerekkel, valamint a kapcsolódó szoftveralkalmazásokkal és mikroszolgáltatásokkal.

A képzés végére a résztvevők képesek lesznek:

• Telepítsen és konfiguráljon különböző Stream Processing keretrendszereket, mint például a Spark Streaming és a Kafka Streaming.
• Ismerje meg és válassza ki a legmegfelelőbb keretet a munkához.
• Adatfeldolgozás folyamatosan, párhuzamosan és rekordonként.
• Integrálja Stream Processing megoldásait meglévő adatbázisokkal, adattárházakkal, adattókkal stb.
• Integrálja a legmegfelelőbb adatfolyam-feldolgozási könyvtárat a vállalati alkalmazásokkal és mikroszolgáltatásokkal.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adattudósoknak szól, akik a SMACK verem segítségével adatfeldolgozási platformokat szeretnének felépíteni big data megoldásokhoz.

A képzés végére a résztvevők képesek lesznek:

• Valósítson meg egy adatfolyam-architektúrát a nagy adatok feldolgozásához.
• Fürt infrastruktúra fejlesztése Apache Mesos és Docker segítségével.
• Elemezze az adatokat a Spark és a Scala segítségével.
• Kezelje a strukturálatlan adatokat az Apache Cassandra segítségével.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a mérnököknek szól, akik Apache Spark rendszert szeretnének felállítani és telepíteni nagyon nagy mennyiségű adat feldolgozására.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Sparkot.
• Nagyon nagy adatkészletek gyors feldolgozása és elemzése.
• Ismerje meg az Apache Spark és az Hadoop MapReduce közötti különbséget, és hogy mikor melyiket használja.
• Integrálja az Apache Sparkot más gépi tanulási eszközökkel.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) kezdő és középszintű rendszergazdáknak szól, akik szeretnék telepíteni, karbantartani és optimalizálni a Spark-fürtöket.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Apache Spark-t különféle környezetekben.
• Fürterőforrások kezelése és Spark-alkalmazások figyelése.
• Optimalizálja a Spark-fürtök teljesítményét.
• Biztonsági intézkedések végrehajtása és magas rendelkezésre állás biztosítása.
• Hibakeresés és a gyakori Spark-problémák elhárítása.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.

Az MLlib a Spark gépi tanulási (ML) könyvtára. Célja, hogy a gyakorlati gépi tanulás méretezhető és egyszerű legyen. Közös tanulási algoritmusokból és segédprogramokból áll, beleértve a besorolást, a regressziót, a klaszterezést, az együttműködő szűrést, a dimenziócsökkentést, valamint az alacsonyabb szintű optimalizálási primitíveket és a magasabb szintű csővezeték API-kat.

Ez két csomagra oszlik:

• A spark.mllib tartalmazza az RDD-re épített eredeti API-t.

• A spark.ml magasabb szintű API-t kínál, amely a DataFrames tetején épült ML-csővezetékek építéséhez.

Közönség

Ez a tanfolyam olyan mérnökökre és fejlesztőkre irányul, akik egy beépített gépkönyvtárat kívánnak használni az Apache Spark