Python, Spark és Hadoop a Big Data-hez Képzés

Célközönség:

A képzés azon IT szakemberek számára készült, akik megoldást keresnek nagy adathalmazok tárolására és feldolgozására elosztott rendszerkörnyezetben.

Cél:

Mélyreható ismeretek szerezése a Hadoop klaszter adminisztrációjáról.

Ez az oktató által vezetett, élő képzés Magyarország-ben (online vagy helyszíni) középhaladó szintű adattudósok és mérnökök számára készült, akik a Google Colab és Apache Spark használatával szeretnék feldolgozni és elemezni a nagy adatokat.

A képzés végére a résztvevők képesek lesznek:

• Big Data környezet beállítása a Google Colab és Spark segítségével.
• Nagy adathalmazok hatékony feldolgozása és elemzése Apache Spark segítségével.
• Big Data vizualizáció együttműködő környezetben.
• Apache Spark integrálása felhőalapú eszközökkel.

A big data analytics magában foglalja a nagy mennyiségű és változatos adathalmazok elemzésének folyamatát, hogy felfedezzünk korrelációkat, rejtett mintákat és egyéb hasznos betekintéseket.

Az egészségügyi ipar rendelkezik hatalmas mennyiségű, összetett és heterogén orvosi és klinikai adattal. A big data analytics alkalmazása az egészségügyi adatokon hatalmas potenciállal bír a megállapítások levonásában az egészségügyi ellátás javítása érdekében. Azonban ezeknek az adathalmazoknak a hatalmas mérete nagy kihívásokat jelent az elemzésekben és a gyakorlati alkalmazásokban egy klinikai környezetben.

Ebben az oktató által vezetett, élő képzésen (távolról) a résztvevők megtanulják, hogyan végezzenek big data analytics-t az egészségügyben, miközben egy sor gyakorlati, élő laborfeladaton keresztül haladnak.

A képzés végére a résztvevők képesek lesznek:

• Telepíteni és konfigurálni a big data analytics eszközöket, mint például a Hadoop MapReduce és a Spark
• Megérteni az orvosi adatok jellemzőit
• Big data technikákat alkalmazni az orvosi adatok kezelésére
• Big data rendszereket és algoritmusokat tanulmányozni az egészségügyi alkalmazások kontextusában

Közönség

• Fejlesztők
• Adattudósok

A képzés formátuma

• Részben előadás, részben vita, gyakorlatok és intenzív gyakorlati munka.

Megjegyzés

• Ha testre szabott képzést kérne ehhez a kurzushoz, kérjük, lépjen kapcsolatba velünk a megbeszélés érdekében.

Célközönség:

Ez a kurzus célja, hogy demisztifikálja a big data/hadoop technológiát, és megmutassa, hogy nem nehéz megérteni.

Ez az oktató által vezetett, élő képzés Magyarország (online vagy helyszíni) rendszergazdáknak szól, akik meg szeretnének tanulni, hogyan állíthatnak üzembe, helyezhetnek üzembe és kezelhetnek Hadoop klasztereket szervezetükön belül.

A képzés végére a résztvevők képesek lesznek:

• Az Apache Hadoop telepítésére és konfigurálására.
• A Hadoop ökoszisztéma négy fő komponensének megértésére: HDFS, MapReduce, YARN és Hadoop Common.
• A Hadoop Distributed File System (HDFS) használatára a klaszter százakra vagy ezrekre történő skálázásához.
• A HDFS beállítására, hogy tárolómotorként működjön helyszíni Spark üzemelő példányokhoz.
• A Spark beállítására alternatív tárolási megoldásokhoz, mint az Amazon S3 és NoSQL adatbázis-rendszerek, például Redis, Elasticsearch, Couchbase, Aerospike stb.
• Adminisztratív feladatok végrehajtására, mint az Apache Hadoop klaszter kiépítése, kezelése, monitorozása és biztonságba helyezése.

Ebben az oktató által vezetett, élő képzésben Magyarország (helyszíni vagy távoli), a résztvevők megtanulják, hogyan állíthatnak be és integrálhatnak különböző Stream Processing keretrendszereket a meglévő big data tárolórendszerekhez és kapcsolódó szoftveralkalmazásokhoz és mikroszolgáltatásokhoz.

A képzés végére a résztvevők képesek lesznek:

• Különböző Stream Processing keretrendszereket telepíteni és konfigurálni, például a Spark Streaminget és a Kafka Streaminget.
• Megérteni és kiválasztani a legmegfelelőbb keretrendszert a feladathoz.
• Folyamatosan, párhuzamosan és rekordonként feldolgozni az adatokat.
• Stream Processing megoldásokat integrálni a meglévő adatbázisokkal, adatraktárakkal, adattavakkal stb.
• A legmegfelelőbb stream processing könyvtárat integrálni a vállalati alkalmazásokkal és mikroszolgáltatásokkal.

Ez az oktató által vezetett, élő képzés Magyarország-ben (online vagy helyszíni) azoknak az adattudósoknak szól, akik a SMACK stack használatával szeretnének adatfeldolgozó platformokat építeni big data megoldásokhoz.

A képzés végére a résztvevők képesek lesznek:

• Adatfolyam architektúra implementálása big data feldolgozáshoz.
• Klaszter infrastruktúra fejlesztése Apache Mesos és Docker segítségével.
• Adatelemzés Spark és Scala használatával.
• Strukturálatlan adatok kezelése Apache Cassandra segítségével.

Ez az oktató által vezetett, élő képzés Magyarország-ben (online vagy helyszíni) azoknak a mérnököknek szól, akik szeretnék beállítani és üzembe helyezni az Apache Spark rendszert nagyon nagy mennyiségű adat feldolgozására.

A képzés végén a résztvevők képesek lesznek:

• Az Apache Spark telepítésére és konfigurálására.
• Gyorsan feldolgozni és elemezni nagyon nagy adathalmazokat.
• Megérteni az Apache Spark és a Hadoop MapReduce közötti különbséget, és eldönteni, mikor melyiket használják.
• Integrálni az Apache Sparkot más gépi tanulási eszközökkel.

Ez az oktató által vezetett, élő képzés Magyarország-ben (online vagy helyszíni) kezdő és középhaladó szintű rendszergazdáknak szól, akik Spark klaszterek üzembe helyezését, karbantartását és optimalizálását szeretnék elsajátítani.

A képzés végére a résztvevők képesek lesznek:

• Az Apache Spark telepítésére és konfigurálására különböző környezetekben.
• Klaszter erőforrások kezelésére és Spark alkalmazások monitorozására.
• Spark klaszterek teljesítményének optimalizálására.
• Biztonsági intézkedések bevezetésére és magas rendelkezésre állás biztosítására.
• Gyakori Spark hibák elhárítására és hibakeresésére.

Az Apache Spark tanulási görbéje kezdetben lassan emelkedik, sok erőfeszítés szükséges az első eredmények eléréséhez. Ez a kurzus célja, hogy átugorja a kezdeti nehézségeket. A kurzus elvégzése után a résztvevők megértik az Apache Spark alapjait, tisztán megkülönböztetik az RDD-t a DataFrame-től, elsajátítják a Python és Scala API-k használatát, megértik az executorokat és feladatokat stb. Továbbá, a legjobb gyakorlatok követésével, ez a kurzus erősen fókuszál a felhőbeli üzembe helyezésre, a Databricks-re és az AWS-re. A hallgatók megértik az AWS EMR és az AWS Glue közötti különbségeket, amely az AWS legújabb Spark szolgáltatása.

KÖZÖNSÉG:

Adatmérnök, DevOps, Adattudós

CÉL:

Ez a kurzus bemutatja az Apache Sparkot. A tanulók megismerik, hogyan illeszkedik a Spark a Big Data ökoszisztémába, és hogyan használható adatelemzésre. A kurzus magában foglalja a Spark shellt interaktív adatelemzéshez, a Spark belső működését, a Spark API-kat, a Spark SQL-t, a Spark streaminget, valamint a gépi tanulást és a GraphX-et.

CEGÉDSZEMÉLY:

Fejlesztők / Adatelemzők

Ez az oktató által vezetett, élő képzés Magyarország-ben (online vagy helyszíni) azoknak az adattudósoknak és fejlesztőknek szól, akik a Spark NLP-t, amely az Apache Spark-ra épül, szeretnék használni a természetes nyelvű szövegek feldolgozására szolgáló modellek és folyamatok fejlesztéséhez, megvalósításához és skálázásához.

A képzés végére a résztvevők képesek lesznek:

• Beállítani a szükséges fejlesztői környezetet a Spark NLP-vel történő NLP folyamatok építéséhez.
• Megérteni a Spark NLP funkcióit, architektúráját és előnyeit.
• Használni a Spark NLP-ben elérhető előre betanított modelleket a szövegfolyamatok megvalósításához.
• Megtanulni, hogyan lehet Spark NLP modelleket építeni, betanítani és skálázni termelési szintű projektekhez.
• Osztályozást, következtetést és érzelmek elemzését alkalmazni valós felhasználási esetekben (klinikai adatok, ügyfélviselkedési elemzések stb.).

Ebben az oktató által vezetett, élő képzésben Magyarország, a résztvevők megtanulják, hogyan használhatják a Pythont és a Sparkot együtt nagy adatok elemzéséhez, miközben gyakorlati feladatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Megtanulják, hogyan használhatják a Sparkot Pythonnal nagy adatok elemzéséhez.
• Valós eseteket utánzó gyakorlatokon dolgoznak.
• Különböző eszközöket és technikákat használnak nagy adatok elemzéséhez a PySpark segítségével.

A Spark SQL az Apache Spark modulja a strukturált és strukturálatlan adatok kezelésére. A Spark SQL információt nyújt az adatok szerkezetéről és a végrehajtott számításokról. Ez az információ felhasználható optimalizálások végrehajtására. A Spark SQL két gyakori használati módja:
- SQL lekérdezések végrehajtása.
- adatok olvasása egy meglévő Hive telepítésből.

Ebben az oktató által vezetett, élő képzésben (személyesen vagy távolról) a résztvevők megtanulják, hogyan elemezhetnek különböző típusú adathalmazokat a Spark SQL segítségével.

A képzés végére a résztvevők képesek lesznek:

• A Spark SQL telepítése és konfigurálása.
• Adatelemzés végrehajtása a Spark SQL segítségével.
• Különböző formátumú adathalmazok lekérdezése.
• Adatok és lekérdezési eredmények vizualizálása.

A képzés formátuma

• Interaktív előadás és vita.
• Számos gyakorlat és gyakorlati feladat.
• Gyakorlati implementáció élő laboratóriumi környezetben.

Kurzus testreszabási lehetőségek

• Ha testreszabott képzést szeretne kérni erre a kurzusra, kérjük, lépjen kapcsolatba velünk a megbeszélés érdekében.

A Stratio egy adatközpontú platform, amely a big data, az AI és a governance integrációját kínálja egyetlen megoldásban. A Rocket és Intelligence moduljai lehetővé teszik a gyors adatfeltárást, átalakítást és haladó elemzéseket vállalati környezetekben.

Ez az oktató által vezetett, élő képzés (online vagy helyszíni) középhaladó szintű adatszakembereknek szól, akik hatékonyan szeretnék használni a Rocket és Intelligence modulokat a Stratio-ban PySparkkal, különös tekintettel a ciklusstruktúrákra, felhasználó által definiált függvényekre és haladó adatlogikára.

A képzés végére a résztvevők képesek lesznek:

• Navigálni és dolgozni a Stratio platformon a Rocket és Intelligence modulok segítségével.
• PySpark alkalmazása adatbetöltés, átalakítás és elemzés során.
• Ciklusok és feltételes logika használata az adatmunkafolyamatok és a jellemzőmérnöki feladatok szabályozására.
• Felhasználó által definiált függvények (UDF) létrehozása és kezelése újrafelhasználható adatműveletekhez PySparkban.

A képzés formátuma

• Interaktív előadás és megbeszélés.
• Számos gyakorlat és gyakorlati feladat.
• Gyakorlati implementáció élő laboratóriumi környezetben.

Képzés testreszabási lehetőségei

• Ha testreszabott képzést szeretne kérni ehhez a kurzushoz, kérjük, lépjen kapcsolatba velünk.