A Practical Introduction to Stream Processing Kurzusok

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adatmérnököknek, adattudósoknak és programozóknak szól, akik a Spark Streaming funkciókat szeretnék használni a valós idejű adatok feldolgozásához és elemzéséhez.

A képzés végére a résztvevők képesek lesznek a Spark Streaming segítségével feldolgozni az élő adatfolyamokat adatbázisokban, fájlrendszerekben és élő műszerfalakban.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik a Apache Kafka adatfolyam-feldolgozást kódírás nélkül szeretnék megvalósítani.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja Confluent KSQL.
• Állítson be egy adatfolyam-feldolgozási folyamatot csak SQL-parancsok használatával (Java vagy Python kódolás nélkül).
• Az adatszűrést, az átalakításokat, aggregálásokat, az összekapcsolásokat, az ablakokat és a szekciókat teljes egészében SQL-ben hajthatja végre.
• Interaktív, folyamatos lekérdezések tervezése és üzembe helyezése az ETL és a valós idejű elemzések streameléséhez.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Az Apache Beam egy nyílt forrású, egységes programozási modell párhuzamos adatfeldolgozó csővezetékek meghatározására és végrehajtására Ez a hatalom abban rejlik, hogy mind a kötegelt, mind az áramló csővezetéket képes működtetni, a végrehajtás pedig egy Beam támogatott elosztott feldolgozási hátterének egyikével történik: az Apache Apex, az Apache Flink, az Apache Spark és a Google Cloud Dataflow Az Apache Beam hasznos az ETL (Extract, Transform, és Load) feladatokhoz, mint például az adatok átvitele különböző adattárolók és adatforrások között, az adatok átalakítása egy kívánatosabb formátumba, és az adatok új rendszerre történő betöltése Ebben az oktatott, élő képzésben (helyszíni vagy távoli) a résztvevők megtanulják, hogyan hajtsa végre az Apache Beam SDK-kat egy Java vagy Python alkalmazásban, amely meghatározza az adatfeldolgozó csővezetéket egy nagy adatkészlet kisebb darabokra történő bontására független, párhuzamos feldolgozás céljából A képzés végére a résztvevők képesek lesznek: Az Apache Beam telepítése és konfigurálása Egyetlen programozási modellt használjon a batch és a stream feldolgozás elvégzéséhez Java vagy Python alkalmazással Csővezetékek végrehajtása több környezetben Közönség Fejlesztők A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat jegyzet Ez a kurzus a Scala számára lesz elérhető a jövőben Kérjük, vegye fel velünk a kapcsolatot .

Az Apache Apex egy YARNnative platform, amely egységesíti az adatfolyamokat és a tételek feldolgozását A nagy adatinformációt olyan méretezhető, teljesítményű, hibatűrő, állapotos, biztonságos, elosztott és könnyen működőképes módszerekkel dolgozza fel Ez az oktatott, élő képzés bemutatja az Apache Apex egységes stream feldolgozási architektúráját, és a résztvevőket egy megosztott alkalmazás létrehozásával hozza létre az Apex a Hadoop használatával A képzés végére a résztvevők képesek lesznek: Ismertesse az adatfeldolgozó csővezeték fogalmakat, például a források és mosdók csatlakozóit, a közös adatátalakításokat stb Építsen, skálázzon és optimalizálja az Apex alkalmazást A valós idejű adatfolyamokat megbízhatóan és minimális késleltetéssel valósítja meg Használja az Apex Core és az Apex Malhar könyvtárat a gyors alkalmazásfejlesztés érdekében Használja az Apex API-t a meglévő Java kód megírásához és újrafelhasználásához Integrálja az Apex-et más alkalmazásokba feldolgozó motorként Tune, teszt és skála Apex alkalmazások Közönség Fejlesztők Vállalati építészek A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat .

Apache Storm egy elosztott, valós idejű számítógépes motor, amelyet valós idejű üzleti intelligencia biztosítására használnak. Ezáltal lehetővé teszi az alkalmazások számára, hogy megbízhatóan feldolgozzák a korlátlan adatáramlást (pl. Áramszolgáltatás áramszolgáltatás).

"Storm a valós idejű feldolgozás, ami Hadoop a csomag feldolgozás!"

Ebben az oktató által vezetett élő képzésben a résztvevők megtanulják, hogyan kell telepíteni és konfigurálni Apache Storm, majd fejleszteni és telepíteni Apache Storm alkalmazást a nagy adatok valós idejű feldolgozására.

A képzésben szereplő témák közül néhány a következők:

• Apache Storm az összefüggésben a Hadoop
• Korlátlan adatokkal való együttműködés
• Folyamatos számítás
• Valós idejű elemzés
• RPC és ETL feldolgozás

Kérje meg ezt a tanfolyamot most!

közönség

• Szoftver és ETL fejlesztők
• Mainframe szakemberek
• adattudósok
• Big Data elemzők
• [ 0 ] Szakemberek

A kurzus formázása

• rész előadások, rész viták, gyakorlatok és nehéz gyakorlatok

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan telepítsék és kezeljék a Apache NiFi-t élő laborkörnyezetben.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apachi NiFi-t.
• Forrása, átalakítása és kezelése különböző, elosztott adatforrásokból, beleértve az adatbázisokat és a nagy adatforrásokat.
• Automatizálja az adatfolyamokat.
• Engedélyezze a streamelési elemzést.
• Alkalmazzon különféle megközelítéseket az adatfeldolgozáshoz.
• Alakítsa át Big Data üzleti betekintést.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják az áramlásalapú programozás alapjait, miközben számos demó-bővítményt, komponenst és processzort fejlesztenek a Apache NiFi segítségével.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit.
• Bővítmények fejlesztése NiFi és harmadik féltől származó API-k használatával.
• Egyedi fejlesztésű saját Apache Nifi processzort.
• Valós idejű adatok feldolgozása és feldolgozása eltérő és nem megszokott fájlformátumokból és adatforrásokból.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja az elosztott adatfolyam- és kötegelt adatfeldolgozás mögött meghúzódó elveket és megközelítéseket, és végigvezeti a résztvevőket egy valós idejű adatfolyam-alkalmazás létrehozásán a Apache Flink-ban.

A képzés végére a résztvevők képesek lesznek:

Környezet létrehozása adatelemző alkalmazások fejlesztéséhez. Ismerje meg, hogyan működik az Apache Flink gráffeldolgozó könyvtára (Gelly). Flink-alapú, hibatűrő, adatfolyam-küldő alkalmazások becsomagolása, végrehajtása és figyelése. Változatos munkaterhelések kezelése. Végezzen haladó elemzést. Hozzon létre egy több csomópontból álló Flink-fürtöt. Mérje meg és optimalizálja a teljesítményt. Integrálja a Flink-et különböző Big Data rendszerekkel. Hasonlítsa össze a Flink képességeit más big data feldolgozó keretrendszerekkel.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használhatja a Sparkot a Python-vel a Big Data elemzésére.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a PySpark használatával végzett nagy adatelemzéshez.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megismerkedhetnek a technológiai kínálatokkal és a grafikonadatok feldolgozásának megvalósítási módszereivel. A cél a valós objektumok, jellemzőik és kapcsolataik azonosítása, majd a kapcsolatok modellezése és adatként való feldolgozása Graph Computing (más néven Graph Analytics) megközelítéssel. Kezdjük egy átfogó áttekintéssel, és leszűkítjük a konkrét eszközöket, miközben esettanulmányok, gyakorlati gyakorlatok és élő telepítések sorozatán lépkedünk végig.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a grafikonadatok megőrzését és bejárását.
• Válassza ki a legjobb keretrendszert egy adott feladathoz (a gráfadatbázisoktól a kötegelt feldolgozási keretrendszerekig).
• A Hadoop, a Spark, a GraphX és a Pregel megvalósítása számos gépen párhuzamosan végezhet gráfszámítást.
• Tekintse meg a valós big data problémákat grafikonok, folyamatok és bejárások formájában.

Az MLlib a Spark gépi tanulási (ML) könyvtára. Célja, hogy a gyakorlati gépi tanulás méretezhető és egyszerű legyen. Közös tanulási algoritmusokból és segédprogramokból áll, beleértve a besorolást, a regressziót, a klaszterezést, az együttműködő szűrést, a dimenziócsökkentést, valamint az alacsonyabb szintű optimalizálási primitíveket és a magasabb szintű csővezeték API-kat.

Ez két csomagra oszlik:

• A spark.mllib tartalmazza az RDD-re épített eredeti API-t.

• A spark.ml magasabb szintű API-t kínál, amely a DataFrames tetején épült ML-csővezetékek építéséhez.

Közönség

Ez a tanfolyam olyan mérnökökre és fejlesztőkre irányul, akik egy beépített gépkönyvtárat kívánnak használni az Apache Spark

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő labor környezetben.

Tanfolyam testreszabási lehetőségek

• Ha személyre szabott képzést szeretne kérni ehhez a tanfolyamhoz, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

Az Apache Samza egy nyílt forrású, közel-valós idejű, aszinkron számítási keret az adatfolyam-feldolgozáshoz. Az Apache Kafka t használja az üzenetküldéshez, és az Apache Hadoop YARN-t hibatűréshez, a processzor elkülönítéséhez, a biztonsághoz és az erőforrás-kezeléshez.

Ez az oktató által vezetett, élő képzés bemutatja az üzenetküldő rendszerek és az elosztott adatfolyam-feldolgozás mögött meghúzódó alapelveket, miközben a résztvevőket egy minta Samza-alapú projekt létrehozásával és a feladat végrehajtásával járja el.

A képzés végére a résztvevők képesek lesznek:

• A Samza segítségével egyszerűsítheti az üzenetek előállításához és fogyasztásához szükséges kódot.
• Válasszuk szét az üzenetek kezelését egy alkalmazásról.
• Használja a Samzát a valósidejű aszinkron számítás megvalósításához.
• Használjon adatfeldolgozást, hogy magasabb absztrakciót biztosítson az üzenetküldő rendszerek felett.

Közönség

• Fejlesztők

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

A Kafka Streams ügyféloldali könyvtár olyan alkalmazások és mikroszolgáltatások építéséhez, amelyek adatait továbbítják a Kafka üzenetküldő rendszerbe és onnan. Hagyományosan, Apache Kafka támaszkodott Apache Spark vagy Apache Storm adatok feldolgozására közötti üzenet a termelők és a fogyasztók számára. A Kafka Streams API alkalmazásból történő meghívásával az adatok közvetlenül a Kafkán belül feldolgozhatók, megkerülve azt, hogy az adatokat külön fürtbe kell továbbítani feldolgozásra.

Ebben az oktató által vezetett, élő képzésen a résztvevők megtanulják, hogyan integrálhatja a Kafka Streams egy olyan Java alkalmazásba, amely adatátvitelt továbbít az Apache Kafka felé és az adatfolyam feldolgozása céljából.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a Kafka Streams szolgáltatásait és előnyeit a többi adatfeldolgozási keretrendszerhez képest
• Folyamatos adatfeldolgozás közvetlenül egy Kafka-fürtön belül
• Írj egy Java vagy Scala alkalmazást vagy mikroszolgáltatást, amely integrálódik a Kafka és a Kafka Streams
• Írjon be olyan tömör kódot, amely átalakítja a bemeneti Kafka témákat kimeneti Kafka témákká
• Az alkalmazás készítése, csomagolása és telepítése

Közönség

• Fejlesztők

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Megjegyzések

• Ha személyre szabott képzést szeretne kérni erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk