Stream processing Kurzusok

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability。

In this instructor-led, live training, participants will learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

- Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
- Achieve persistence without syncing data back to a relational database.
- Use Ignite to carry out SQL and distributed joins.
- Improve performance by moving data closer to the CPU, using RAM as a storage.
- Spread data sets across a cluster to achieve horizontal scalability.
- Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Az Apache Apex egy YARNnative platform, amely egységesíti az adatfolyamokat és a tételek feldolgozását A nagy adatinformációt olyan méretezhető, teljesítményű, hibatűrő, állapotos, biztonságos, elosztott és könnyen működőképes módszerekkel dolgozza fel Ez az oktatott, élő képzés bemutatja az Apache Apex egységes stream feldolgozási architektúráját, és a résztvevőket egy megosztott alkalmazás létrehozásával hozza létre az Apex a Hadoop használatával A képzés végére a résztvevők képesek lesznek: Ismertesse az adatfeldolgozó csővezeték fogalmakat, például a források és mosdók csatlakozóit, a közös adatátalakításokat stb Építsen, skálázzon és optimalizálja az Apex alkalmazást A valós idejű adatfolyamokat megbízhatóan és minimális késleltetéssel valósítja meg Használja az Apex Core és az Apex Malhar könyvtárat a gyors alkalmazásfejlesztés érdekében Használja az Apex API-t a meglévő Java kód megírásához és újrafelhasználásához Integrálja az Apex-et más alkalmazásokba feldolgozó motorként Tune, teszt és skála Apex alkalmazások Közönség Fejlesztők Vállalati építészek A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat .

Az Apache Beam egy nyílt forrású, egységes programozási modell párhuzamos adatfeldolgozó csővezetékek meghatározására és végrehajtására Ez a hatalom abban rejlik, hogy mind a kötegelt, mind az áramló csővezetéket képes működtetni, a végrehajtás pedig egy Beam támogatott elosztott feldolgozási hátterének egyikével történik: az Apache Apex, az Apache Flink, az Apache Spark és a Google Cloud Dataflow Az Apache Beam hasznos az ETL (Extract, Transform, és Load) feladatokhoz, mint például az adatok átvitele különböző adattárolók és adatforrások között, az adatok átalakítása egy kívánatosabb formátumba, és az adatok új rendszerre történő betöltése Ebben az oktatott, élő képzésben (helyszíni vagy távoli) a résztvevők megtanulják, hogyan hajtsa végre az Apache Beam SDK-kat egy Java vagy Python alkalmazásban, amely meghatározza az adatfeldolgozó csővezetéket egy nagy adatkészlet kisebb darabokra történő bontására független, párhuzamos feldolgozás céljából A képzés végére a résztvevők képesek lesznek: Az Apache Beam telepítése és konfigurálása Egyetlen programozási modellt használjon a batch és a stream feldolgozás elvégzéséhez Java vagy Python alkalmazással Csővezetékek végrehajtása több környezetben Közönség Fejlesztők A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat jegyzet Ez a kurzus a Scala számára lesz elérhető a jövőben Kérjük, vegye fel velünk a kapcsolatot .

Ez az oktató által vezetett, élő képzés (helyszíni vagy távoli) célja a mérnökök, akik szeretnék használni Fluent (eloszlása Kafka) építeni és kezelni a valós idejű adatfeldolgozó platform azok alkalmazásait.

végére a képzés, a résztvevők képesek lesznek:

- telepítése és konfigurálása Fluent platform.
- használata Fluent & #39; s irányítási eszközök és szolgáltatások futni Kafka könnyebben.
a bejövő adatfolyam-adatok tárolása és feldolgozása - .
- optimalizálása és kezelése Kafka klaszterek.
- biztonságos adatfolyamok.

formátuma tanfolyam

- interaktív előadás és vita.
- sok gyakorlatok és gyakorlat.
- gyakorlati végrehajtás egy élő-Lab környezetben.

tanfolyam testreszabási beállítások

- Ez a tanfolyam alapja a nyílt forráskódú változata a Fluent: a nyílt forráskódú Fluent.
- , hogy kérjen egy testreszabott képzést ezt a tanfolyamot, kérjük lépjen kapcsolatba velünk, hogy gondoskodjon.

Az Apache Flink egy nyílt forráskódú keretrendszer a skálázható adatfolyam és a kötegelt adatfeldolgozás számára Ez az oktatott, élő képzés bemutatja az elosztott adatfolyam és a kötegelt adatfeldolgozás mögötti elveket és megközelítéseket, és a valós idejű, adatátviteli alkalmazás létrehozásával valósítja meg a résztvevőket A képzés végére a résztvevők képesek lesznek: Állítson be környezetet az adatelemzési alkalmazások fejlesztéséhez A Flink alapú, hibatűrő, adatátviteli alkalmazások csomagolása, végrehajtása és monitorozása Kezelheti a különböző munkaterheket Végezzen fejlett analitikákat Flink ML használatával Állítson be egy multinode Flink fürtöt A teljesítmény mérése és optimalizálása Integrálja a Flink-et különböző Big Data rendszerekkel A Flink képességek összehasonlítása más nagy adatfeldolgozási keretekével Közönség Fejlesztők Építészek Adatmérnökök Analytics szakemberek Műszaki menedzserek A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat .

A Stream feldolgozás a "mozgásban lévő adatok" valós idejű feldolgozását jelenti, vagyis az adatokat az adatok fogadása során végzi Az ilyen adatokat folyamatos forrásokból, például szenzor eseményekből, weboldal felhasználói tevékenységből, pénzügyi műveletekből, hitelkártya-swipekből, kattintásáramokból stb Olvashatják A Stream feldolgozó keretrendszer képes nagy mennyiségű bejövő adat olvasására, és szinte azonnali értékes információt nyújtani Ebben az oktatott, élő képzésben (helyszíni vagy távoli) a résztvevők megtanulják, hogyan állítsák be és integrálják a különböző Stream Processing kereteket a meglévő nagy adattároló rendszerekkel, valamint a kapcsolódó szoftveralkalmazásokkal és mikroszolgáltatókkal A képzés végére a résztvevők képesek lesznek: Telepítse és konfigurálja a különböző adatfolyam-feldolgozási kereteket, például a Spark Streaming és a Kafka Streaming Ismerje meg és válassza ki a munkához legmegfelelőbb kereteket Az adatok feldolgozása folyamatosan, egyidejűleg és egy recordbyrecord módon Stream feldolgozási megoldások integrálása meglévő adatbázisokkal, adattárházakkal, adatgyűjtőkkel stb A legmegfelelőbb adatfolyamfeldolgozó könyvtár integrálása vállalati alkalmazásokhoz és mikroszolgáltatókhoz Közönség Fejlesztők Szoftver építészek A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat Megjegyzések Ha erre a kurzusra személyre szabott képzést szeretne kérni, kérjük, vegye fel velünk a kapcsolatot .

A Kafka Streams egy olyan ügyfelek könyvtárja, amely épületek alkalmazásokhoz és mikroszolgáltatókhoz kapcsolódik, amelyek adatainak átadása a Kafka üzenetküldő rendszerből történik Hagyományosan az Apache Kafka az Apache Spark vagy az Apache Storm-ra támaszkodott az üzenetek gyártói és a fogyasztók közötti adatfeldolgozáshoz Ha felhívja a Kafka Streams API-t egy alkalmazáson belül, az adatok közvetlenül a Kafkán keresztül feldolgozhatók, megkerülve azt, hogy az adatokat külön fürtre kell továbbítani a feldolgozáshoz Ebben az oktatott, élő képzésben a résztvevők megtanulják, hogyan integrálják a Kafka Streameket olyan minta Java alkalmazásokba, amelyek adatot továbbítanak az Apache Kafka számára az adatfolyam feldolgozáshoz A képzés végére a résztvevők képesek lesznek: Ismerje meg a Kafka Streams szolgáltatásait és előnyeit a többi adatfeldolgozási keretrendszerben Folyamatáramadatokat közvetlenül egy Kafka-klaszteren belül Írj egy Java vagy Scala alkalmazást vagy mikroszolgáltatást, amely a Kafka és a Kafka patakokba integrálódik Írd le a tömör kódot, amely a Kafka beviteli témákat átalakítja a Kafka kimeneti témákba Az alkalmazás összeállítása, csomagolása és telepítése Közönség Fejlesztők A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat Megjegyzések Ha erre a kurzusra személyre szabott képzést szeretne kérni, kérjük, vegye fel velünk a kapcsolatot .

Ebben az oktatott, élő képzésben a résztvevők megtanulják a MapR Stream Architecture mögött álló alapfogalmakat, miközben valós idejű alkalmazásokat fejlesztenek A képzés befejeztével a résztvevők képesek lesznek termelő és fogyasztói alkalmazásokat készíteni a valós idejű adatfeldolgozásra Közönség Fejlesztők A rendszergazdák A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat jegyzet Ha erre a kurzusra személyre szabott képzést szeretne kérni, kérjük, vegye fel velünk a kapcsolatot .

Az Apache NiFi (Hortonworks DataFlow) valós idejű integrált adatlogisztika és egyszerű eseményfeldolgozó platform, amely lehetővé teszi az adatok közötti mozgatást, nyomon követést és automatizálást Flow-alapú programozással van írva, és egy webbased felhasználói felületet biztosít az adatfolyamok valós időben történő kezelésére Ebben az oktatott, élő képzésben a résztvevők megtanulják, hogyan alkalmazzák és kezeljék az Apache NiFi-t egy élő labor környezetben A képzés végére a résztvevők képesek lesznek: Az Apachi NiFi telepítése és beállítása Adatforrások forrása, átalakítása és kezelése különböző, elosztott adatforrásokból, beleértve az adatbázisokat és a nagy adatkészleteket Az adatfolyamok automatizálása A streaming analytics engedélyezése Különböző megközelítéseket alkalmaz az adatbevitelhez A nagy adatok átalakítása és üzleti megismerések Közönség Rendszergazdák Adatmérnökök Fejlesztők DevOps A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat .

Az Apache NiFi (Hortonworks DataFlow) valós idejű integrált adatlogisztika és egyszerű eseményfeldolgozó platform, amely lehetővé teszi az adatok közötti mozgatást, nyomon követést és automatizálást Flow-alapú programozással van írva, és egy webbased felhasználói felületet biztosít az adatfolyamok valós időben történő kezelésére Ebben az oktatott, élő képzésben a résztvevők megismerik az áramlás alapú programozás alapjait, mivel számos demo kiterjesztést, összetevőt és processzort fejlesztenek az Apache NiFi segítségével A képzés végére a résztvevők képesek lesznek: Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit Fejlessze a bővítményeket a NiFi és a harmadik fél API-k használatával Egyéni fejleszteni saját Apache Nifi processzort Lerontani és feldolgozni valós idejű adatokat különböző és nem gyakori fájlformátumokból és adatforrásokból Közönség Fejlesztők Adatmérnökök A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat .

Az Apache Samza egy nyílt forráskódú nearrealtime, aszinkron számítási keretfolyam a folyam feldolgozásához Az Apache Kafka az üzenetküldést használja, és az Apache Hadoop YARN a hibatűrésre, a processzor elszigetelésére, a biztonságra és az erőforrás-gazdálkodásra Ez az oktatott, élő képzés bemutatja az üzenetkezelő rendszerek és az elosztott adatfolyam-feldolgozás mögött álló elveket, miközben a résztvevőket a Samzabased minta és a munka végrehajtása révén hozza létre A képzés végére a résztvevők képesek lesznek: Használja a Samza-t az üzenetek előállításához és fogyasztásához szükséges kód egyszerűsítéséhez Távolítsa el az üzenetek kezelését egy alkalmazásból Használja a Samza-t a nearrealtime aszinkron számítás végrehajtásához Használja az adatfolyam-feldolgozást, hogy magasabb szintű absztrakciót biztosítson az üzenetküldő rendszereknél Közönség Fejlesztők A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat .

Az Apache Storm egy elosztott, valós idejű számítási motor, amely lehetővé teszi a valós idejű üzleti intelligenciát Azáltal teszi lehetővé, hogy az alkalmazások megbízhatóan feldolgozzák a korlátlan adatfolyamokat (más néven adatfeldolgozás) "A Storm valós idejű feldolgozásra szolgál, amit a Hadoop a kötegelt feldolgozásra kész!" Ebben az oktatott élő képzésben a résztvevők megtudják, hogyan kell telepíteni és beállítani az Apache Stormot, majd kifejleszteni és telepíteni egy Apache Storm alkalmazást nagy adatok valós idejű feldolgozására A képzésben szereplő témák közül néhány: Apache Storm a Hadoop kontextusában Nem korlátozott adatokkal dolgozik Folyamatos számítás Valós idejű elemzések Elosztott RPC és ETL feldolgozás Kérje ezt a tanfolyamot most! Közönség Szoftver és ETL fejlesztők Mainframe szakemberek Adatkutatók Nagy adatelemzők Hadoop szakemberek A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat .

A Tigon egy nyílt forráskódú, valós idejű, lowlatency, highthroughput, natív YARN streamfolyam keretrendszer, amely a HDFS és a HBase tetején ül a kitartásért A Tigon alkalmazások olyan eseteket használnak fel, mint például a hálózati behatolás felderítése és elemzés, a közösségi médiapiaci elemzés, a helyelemzés és a felhasználók számára valós idejű ajánlások Ez az oktatott, élő képzés bemutatja a Tigon megközelítését a valós idejű és a tételes feldolgozáshoz, miközben a résztvevők egy mintaalkalmazáson keresztül járnak A képzés végére a résztvevők képesek lesznek: Készítsen erőteljes adatfeldolgozó alkalmazásokat nagy mennyiségű adat kezelésére Folyamatáramforrások, például a Twitter és a Webszerver naplók Használja a Tigont a folyamok gyors összekapcsolásához, szűréséhez és aggregálásához Közönség Fejlesztők A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat .