Python, Spark, and Hadoop for Big Data Képzés

Célpontsáv:

A kurz az IT-szakembereket célozza, akik megoldást keresnek nagy adathalmazok tárolására és feldolgozására elosztott rendszerekben.

Előfeltételek:

Mélyreható ismeret Hadoop cluster-adminisztrációban.

Ez az oktatóvezetett, élő kiszolgált (online vagy helyszínen) képzés a közepes szintű adattudósok és mérnökök számára készült, akik nagy adatok feldolgozására és elemzésére szeretnék használni a Google Colab-ot és a Apache Spark-et.

Ez a képzés végére a résztvevők képesek lesznek:

• Nagy adatkörnyezet beállítása Google Colab-mal és Spark-kal.
• Nagy adathalmazok hatékony feldolgozása és elemzése Apache Spark-vel.
• Nagy adatok vizualizálása együttműködő környezetben.
• Apache Spark integrálása felhőalapú eszközökkel.

A big adatelemzés a nagy mennyiségű és változatos adathalmazok elemezésének folyamata, amelynek célja korrelációk, rejtett minták és más hasznos információk feltárása.

Az egészségügy rendelkezik hatalmas mennyiségű összetett és heterogén orvosi és klinikai adattal. Az egészségi adatok big adatelemzése jelentős potenciállal bír a betegellátás javítására szolgáló információk megszerzésében. Ugyanakkor ezek az adathalmazok nagy mennyiségük miatt jelentősek kihívásokat jelentenek az elemzéseken és a klinikai környezetben való gyakorlati alkalmazásaival kapcsolatosan.

Ez a tanárvezetett, élőképes képzés (távoktatás) során a résztvevők megtanulják, hogyan végezhetnek big adatelemzést az egészségügyben, míg átmentek egy sor gyakorlati feladatokon és élő-labor gyakorlatokon.

A képzés végére a résztvevők képesek lesznek:

• Telepíteni és konfigurálni big adatelemző eszközöket, mint például az Hadoop MapReduce-t és a Spark-ot
• Megérteni az orvosi adatok jellemzőit
• Big adatelemzési technikákat alkalmazni az orvosi adatok kezelése céljából
• Vizsgálni a big adatszisztémákat és algoritmusokat egészségügyi alkalmazások kontextusában

Célcsoport

• Fejlesztők
• Adattudósok

Képzés formája

• Rész előadás, rész diskusszió, gyakorlatok és intenzív gyakorlással.

Megjegyzés

• Egy személyre szabott képzés kéréséhez lépjen kapcsolatba velünk a rendezésének meghatározásához.

Célpontsoportozat:

Ez a kurzus azt célozza, hogy a big data/Hadoop technológiát megkönnyítse és mutassa meg, hogy nem nehéz megérteni.

Ez az edző által vezetett, élő képzés Magyarország-ban (online vagy helyszíni) a rendszergazdák számára készült, akik tanulni szeretnének, hogyan állítsanak be, közzétegyenek és kezeljenek Hadoop fürtöket a vállalatukon belül.

A képzés végén a résztvevők:

• Képesek lesznek Apache Hadoopt telepíteni és konfigurálni.
• Megértsék a Hadoop-ekoszisztémában lévő négy fő összetevőt: HDFS, MapReduce, YARN és Hadoop Common-t.
• A Hadoop Distributed File System (HDFS)-et olyan módon használják, hogy a fürt méretét százokra vagy ezredekbe növelhetik.
• Beállítják az HDFS-t a helyszíni Spark telepítések adattároló rendszerének működéséhez.
• Beállítják a Spark-ot olyan alternatív adattárolási megoldások eléréséhez, mint az Amazon S3 és a NoSQL adatbázisrendszerek (pl. Redis, Elasticsearch, Couchbase, Aerospike stb.).
• Képesek lesznek rendszergazdai feladatokat elvégezni, mint például: üzembe helyezés, kezelés, monitorozás és biztonságossá tétele egy Apache Hadoop fürtnek.

Ebben az oktató által vezetett, élő képzésben Magyarország (helyszíni vagy távolságos) a résztvevők megtanulják, hogyan állíthatnak be és integráljanak különböző Stream Processzor keretrendszereket az adattároló rendszerekkel és kapcsolódó szoftverek és mikroszolgáltatásokkal.

A képzés végeztével a résztvevők képesek lesznek:

• Különböző Stream Processzor keretrendszereket, mint például a Spark Streaming-t és Kafka Streaming-t telepíteni és konfigurálni.
• Értetni és kiválasztani a legalkalmasabb keretrendszert az adott feladathoz.
• Az adatok folyamatos, párhuzamos és egyesített módú feldolgozását elvégezni.
• A Stream Processzor megoldások integrálása meglévő adatbázisokkal, adattárházakkal, adat-tavakkal stb.
• A legalkalmasabb stream processzor könyvtár integrálása vállalati alkalmazások és mikroszolgáltatásokkal.

Ez az oktató által vezetett, élő kormányzás Magyarország-ban (online vagy helyszíni) adatait tudósokra irányul, akik szeretnék használni a SMACK stack-ot nagy adatmegoldásokhoz.

Ez az oktatási program végére a résztvevők képesek lesznek:

• Adatfeldolgozási architektúra kialakítása nagy adatok kezeléséhez.
• Klüster infrastruktúra fejlesztése Apache Mesos és Docker használatával.
• Adatok elemzése Spark és Scala segítségével.
• Strukturálhatatlan adatok kezelése Apache Cassandra használatával.

Ez az oktató vezetett, élő képzés Magyarország (online vagy helyszínen) azzal az ingenierek számára készült, akik be szeretnének állítani és üzembe helyezni az Apache Spark rendszert nagyon nagy mennyiségű adat feldolgozásához.

E képzés végére a résztvevők képesek lesznek:

• Az Apache Spark telepítésére és konfigurálására.
• Gyorsan feldolgozni és elemezni nagyon nagy adatmennyiségeket.
• Megérteni az eltéréseket az Apache Spark és a Hadoop MapReduce között, valamint tudniuk, melyiket használják milyen esetben.
• Egyéb gépi tanulási eszközt integrálni az Apache Sparkkal.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) kezdő és középszintű rendszergazdáknak szól, akik szeretnék telepíteni, karbantartani és optimalizálni a Spark-fürtöket.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Apache Spark-t különféle környezetekben.
• Fürterőforrások kezelése és Spark-alkalmazások figyelése.
• Optimalizálja a Spark-fürtök teljesítményét.
• Biztonsági intézkedések végrehajtása és magas rendelkezésre állás biztosítása.
• Hibakeresés és a gyakori Spark-problémák elhárítása.

Az Apache Spark tanulási görbe lassan növekszik a kezdetben, sok erőt igényel az első eredmény eléréséhez. Ez a kurzus célja, hogy átugorja az első nehéz részt. A kurzus elvégzése után a résztvevők meg fogják érteni az Apache Spark alapjait, tisztán meg fogják különböztetni az RDD-t a DataFrame-től, meg fogják tanulni a Python és Scala API-t, meg fogják érteni az executorsokat és a feladatokat stb. A legjobb gyakorlatokat követve, ezen a kurzuson erősen hangsúlyozzuk a felhőbe való telepítést, a Databricks-t és az AWS-t. A tanulók meg fogják érteni az AWS EMR és AWS Glue különbségeit, az AWS legújabb Spark szolgáltatását.

AUDIENCE:

Adatmérnök, DevOps, Adattudós

CÉL:

Ez a kurzus bemutatja az Apache Spark-ot. A tanulók megtanulják, hogyan illeszkedik be a Spark a Big Data ökoszisztémába, és hogyan használható adatelemzésre. A kurzus tartalmazza a Spark shell interaktív adatelemzésének, a Spark belső szerkezetének, API-jának, SQL, streaming, gépi tanulás és GraphX szegmenseinek bemutatását.

CÉLSZOMBOR:

Fejlesztők / Adatelemzők

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adattudósoknak és fejlesztőknek szól, akik a Apache Spark-ra épülő Spark NLP-et szeretnék használni természetes nyelvi szövegfeldolgozás fejlesztésére, megvalósítására és méretezésére. modellek és csővezetékek.

A képzés végére a résztvevők képesek lesznek:

• Állítsa be a szükséges fejlesztői környezetet az NLP-folyamatok építésének megkezdéséhez az Spark NLP segítségével.
• Ismerje meg a Spark NLP használatának jellemzőit, architektúráját és előnyeit.
• A szövegfeldolgozás megvalósításához használja az Spark NLP-ben elérhető előre betanított modelleket.
• Tanulja meg, hogyan készíthet, taníthat és méretezhet Spark NLP modelleket gyártási szintű projektekhez.
• Alkalmazzon osztályozást, következtetést és hangulatelemzést a valós használati esetekre (klinikai adatok, vásárlói viselkedési betekintések stb.).

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.

Az Apache Spark SQL a strukturált és strukturálatlan adatok kezelésére szolgáló modul. A Spark SQL információt nyújt az adatok szerkezetéről valamint a végrehajtandó számításokról. Ez az információ használható optimalizálási célokra. Két gyakori felhasználási módja a Spark SQL-nak:
- SQL lekérdezések végrehajtása.
- meglévő Hive telepítésből történő adatolvasás.

Ez az oktató, élő képzés (terhelésben vagy távolról) segítséget nyújt a különböző típusú adatkészletek elemzésében a Spark SQL használatával.

A képzés végére a résztvevők képesek lesznek:

• Telepíteni és beállítani a Spark SQL-t.
• Elemezni adatokat a Spark SQL használatával.
• Lekérdezni különböző formátumú adatkészleteket.
• Megjeleníteni az adatokat és a lekérdezések eredményeit.

Képzés formája

• Interaktív előadás és tárgyalás.
• Sok gyakorlat és gyakorlás.
• Élő labor környezetben való alkalmazás.

Képzés személyre szabási lehetőségei

• Egyéni képzés kérése ennek a kurzusnak, kérem lépjen kapcsolatba velünk a megfelelő rendezéshez.

Stratio egy adatokra összpontosító platform, amely nagy adatok, mesterséges intelligencia (AI) és kormányzati funkciókat integrál egy egyetlen megoldásba. Az Rocket és Intelligence modullai lehetővé teszik a gyors adatfelfedezést, átalakítást és előrehaladott analitikai feladatok végrehajtását vállalati környezetekben.

Ez az oktatóvezetett élő tanfolyam (online vagy helyszínen) középszerű szintű adatszakembereknek szól, akik hatékonyan szeretnék használni az Stratio Rocket és Intelligence modullait PySpark-al, a ciklusok, felhasználódefiniált függvények és előrehaladott adatlogika hangsúlyozásával.

E tanfolyam végére a résztvevők képesek lesznek:

• Navigálni és dolgozni az Stratio platformon az Rocket és Intelligence modullal.
• Alkalmazni PySpark-t az adatbefogadás, átalakítás és elemzés kontextusában.
• Ciklusokat és feltételes logikát használni az adatfolyamok és a jellemzők generálásának ellenőrzéséhez.
• Létrehozni és kezelni felhasználódefiniált függvényeket (UDF) ismételten felhasználható adatműveletekhez PySpark-ban.

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sokat gyakorolunk és gyakorolunk.
• Kézbesített implementáció élő laboratóriumi környezetben.

A tanfolyam testreszabási lehetőségei

• Egy testreszabott tanfolyam kéréséhez kérjük, lépjen kapcsolatba velünk.