A Practical Introduction to Stream Processing Képzés
Az Stream Processing valóságos idejű feldolgozást jelenti az "adatok mozgásában", azaz az adatok feldolgozását annak az idejében, amikor fogadjuk őket. Ilyen adatok folyamatban olvashatóak folyamatos adatokként különböző forrásokból, mint például szenzor események, weboldal-felhasználói tevékenység, pénzügyi tranzakciók, bankkártya-átütések, kattintásfolyamatok stb. Az Stream Processing keretrendszerek képesek nagy mennyiségű bejövő adatot olvasni és értékes információkat majdnem azonnal szolgáltatni.
Ebben az oktatóvezetésű, élő képzésen (helyszínen vagy távoli elhelyezésű), a résztvevők megtanulják, hogyan állítsák be és integrálják az különböző Stream Processing keretrendszereket a létező nagyadatok-tároló rendszerekkel és a kapcsolódó szoftveralkalmazásokkal és mikro-szolgáltatásokkal.
A képzés végén a résztvevők képesek lesznek:
- Feldolgozási keretrendszereket telepíteni és konfigurálni, például Spark Streaming és Kafka Streaming.
- Megérteni és kiválasztani a legalkalmasabb keretrendszert a feladathoz.
- Folyamatban, párhuzamosan és rekordonként adatok feldolgozása.
- Stream Processing megoldások integrálása létező adatbázisokkal, adatrakokkal, adattavakkal stb.
- A legalkalmasabb stream processing könyvtár integrálása vállalati alkalmazásokkal és mikro-szolgáltatásokkal.
A célközönség
- Fejlesztők
- Szoftverarchitektúrák
A képzés formája
- Részt előadás, részben vita, gyakorlatok és intenzív gyakorlás
Megjegyzések
- A képzés szabványosítása érdekében kérjük, forduljon hozzánk, hogy tárgyaljuk meg.
Kurzusleírás
Bevezetés
- Stream feldolgozás vs. csomagfokozatos feldolgozás
- Analitikai orientált stream feldolgozás
Áttekintés keretekrendszerekről és programozási nyelvekről
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Keretekrendszerek funkcióinak és erősségek összehasonlítása
Adatforrások áttekintése
- Élethű adatok idősorozatként
- Történelmi adatforrások
Telepítési lehetőségek
- A felhőben (AWS, stb.)
- Helyi (magánfelhő, stb.)
Elindulás
- Fejlesztőkörnyezet beállítása
- Telepítés és konfigurálás
- Adat- és elemzési igények megállapítása
Stream feldolgozó keretrendszer üzemeltetése
- Stream feldolgozó keretrendszer integrálása nagyadatokhoz kapcsolódó eszközökkel
- Eseménysorozat feldolgozás (ESP) vs. komplex eseménysorozat feldolgozás (CEP)
- Bemeneti adatok átalakítása
- Kimeneti adatok vizsgálata
- Stream feldolgozó keretrendszer integrálása létező alkalmazásokkal és mikroszolgáltatásokkal
Hibaügyi megoldások
Összegzés és záró szó
Követelmények
- Bármely programozási nyelven szerzett programozási tapasztalat
- Az nagyadatok (Hadoop, stb.) fogalmaival való ismeretség
A nyílt képzésekhez 5+ résztvevő szükséges.
A Practical Introduction to Stream Processing Képzés - Foglalás
A Practical Introduction to Stream Processing Képzés - Érdeklődés
A Practical Introduction to Stream Processing - Érdeklődjön a vezetői tanácsadásról!
Érdeklődjön a vezetői tanácsadásról!
Vélemények (1)
Elég gyakorlati tapasztalatra van lehetőség, a tanár szakértelemmel rendelkezik
Chris Tan
Kurzus - A Practical Introduction to Stream Processing
Gépi fordítás
Közelgő kurzusok
Rokon tanfolyam
Apache Kafka Connect
7 ÓrákEz a képzés, amelyet Magyarország-ban (online vagy helyszíni) tartanak, a fejlesztők számára készült, akik az Apache Kafka-t szeretnék meglévő adatbázisokkal és alkalmazásokkal integrálni feldolgozás, elemzés stb. céljából.
A képzés végén a résztvevők tudnak majd:
- Kafka Connect használatával nagy mennyiségű adatot importálni az adatbázisból Kafka témaibe.
- Nagy mennyiségű naplóadatot importálni alkalmazás-kiszolgálók által generált Kafka témaibe.
- Bármilyen gyűjtött adatot elérhetővé tenni folyamatos feldolgozásra.
- Adatok exportálása másodlagos rendszerekbe tárolás és elemzés céljából.
A Confluent használatával készült Kafka megoldások
14 ÓrákEz a tanár vezetésével zajló élő képzés (online vagy helyszínen) azon mérnököknek szánt, akik a Confluentet (mely a Kafka egy disztribúciós verziója) szeretnék használni valós idejű adatfeldolgozási platform építésére és kezelésére az alkalmazásukhoz.
A képzés végén a résztvevők képesek lesznek:
- Telepíteni és beállítani a Confluent Platformot.
- Konfidenssel kezelni a Confluent felügyeleti eszközeit és szolgáltatásait a Kafka egyszerűbb futtatásához.
- Megőrizni és feldolgozni az érkező adatfolyamot.
- Kafa kiosztott csomópontcsoportok optimalizálását és kezelését végrehajtani.
- Adatfolyamok biztonságának garantálása.
A képzés formája
- Beszédet tartó interaktív előadás és beszélgetés.
- Számos gyakorlat és gyakorlás.
- Egy élő laboratóriumi környezetben történő gyakorlódás.
Képzés testreszabási lehetőségei
- A képzés az open source verziójú Confluenten alapul: a Confluent Open Source-on.
- Egy testreszabott képzés kérése esetén lépjen kapcsolatba velünk a rendezéshez.
Adatfolyamok létrehozása Apache Kafka-val
7 ÓrákAz Apache Kafka egy elosztott streaming platform. A de facto szabvány az adatcsobogatás építésére, és sok különböző adatfeldolgozási feladatot old meg: üzenetsor, elosztott naplózás, adatszál feldolgozás stb.
Elsőként áttekintjük az adatcsobogatás alapjait, majd továbbhaladunk a Kafka alapvető fogalmainak bemutatásával. Ismerkedünk be a Kafka Streams és a Kafka Connect fontos komponenseivel is.
Distributed Messaging with Apache Kafka
14 ÓrákEz a tanfolyam vállalati architektúrák, fejlesztők, rendszergazdák és bárki számára, aki szeretné megérteni és használni egy nagy átviteli sebességű elosztott üzenetrögzítő rendszert. Ha pontosabb igényekkel rendelkezik (pl. csak rendszergazdai rész), a tanfolyam testre szabható, hogy jobban illeszkedjen igényeivel.
Kafka rendszergazdák számára
21 ÓrákEz az oktató által vezetett élő képzés Magyarország (online vagy helyszínen) a rendszergazdák számára készült, akik be szeretnének állítani, el helyezni, kezelni és optimalizálni egy vállalati szintű Kafka fürtöt.
A képzés végén a résztvevők képesek lesznek:
- Beállítani és kezelni egy Kafka fürtöt.
- Kifejezetten megérteni a Kafka helyszíni és felhőben történő üzembe helyezésének előnyeit és hátrányait.
- Egyes helyszíni és felhőalapú környezeti eszközök használatával üzemeltetni és monitorozni a Kafkát.
Apache Kafka Fejlesztőknek
21 ÓrákEz az oktató által vezetett, élő képzés Magyarország (online vagy helyszíni) kelt el a középhaladó fejlesztők figyelmét, akik Apache Kafka-val szeretnének nagy adatalkalmazásokat kifejleszteni.
A képzés végén a résztvevők képesek lesznek:
- Kafka-szerzői és -fogyasztói alkalmazásokat fejleszteni az adatok küldéséhez és olvasásához Kafka-n keresztül.
- A Kafka Connect használatával integrálni a Kafka-t külső rendszerekkel.
- Streaming alkalmazásokat írni a Kafka Streams és a ksqlDB segítségével.
- Kafka-ügyfélalkalmazást integrálni a Confluent Cloud-ba felhőalapú Kafka-központokhoz.
- Gyakorlati tapasztalatot szerezni gyakorlásokon és valós életszenáriumokon keresztül.
Apache Kafka for Python Programmers
7 ÓrákEz az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adatmérnököknek, adattudósoknak és programozóknak szól, akik szeretnék használni a Apache Kafka funkciókat az Python-es adatfolyamban.
A képzés végére a résztvevők képesek lesznek a Apache Kafka segítségével figyelni és kezelni a feltételeket folyamatos adatfolyamokban az Python programozás segítségével.
Apache Kafka biztonsága
7 ÓrákEz a képzés, amelyet Magyarország-ban (online vagy helyszínen) tartanak szoftvertesztelők számára, akik kívánják hálózati biztonsági intézkedéseket bevezetni egy Apache Kafka alkalmazásba.
E képzés végére a résztvevők képesek lesznek:
- Üzemeltetni az Apache Kafkat felhőalapú szerveren.
- SSL titkosítást implementálni, hogy megelőzzék a támadásokat.
- ACL hitelesítést beállítani a felhasználói hozzáférés nyomon követése és ellenőrzése érdekében.
- Megbízható ügyfelek számára biztosítani az SSL és SASL hitelesítés általi Kafka fürtökhöz való hozzáférést.
Apache Kafka és Spring Boot
7 ÓrákEz az oktató által vezetett, élő képzés Magyarország (online vagy helyszínen) középfokú fejlesztők számára készült, akik szeretnének megtanulni a Kafka alapjait és integrálni szeretnének Spring Boottal.
A képzés végén a résztvevők képesek lesznek:
- Kafkát és annak architektúráját megérteni.
- Megtanulni, hogyan telepítsék, konfigurálják és állítsák be egy alapvető Kafka környezetet.
- Kafkát integrálni Spring Boottal.
Stream Processing with Kafka Streams
7 ÓrákA Kafka Streams egy ügyféloldali kódtár, amely segít alkalmazásokat és mikroszolgáltatásokat építeni, melyek adatait Kafka üzenetszisztéma küldi tovább. A hagyományos módon az Apache Kafka az adatfeldolgozásra az Apache Spark-ot vagy az Apache Storm-ot használta a szóró és fogadó alkalmazások között. Az alkalmazásban belül meghívva a Kafka Streams API-t, az adatokat közvetlenül a Kafkában feldolgozhatjuk, így nem kell külön fürtbe küldeni az adatokat a feldolgozás céljából.
Ebben a tanár vezetésű, élő képzésben a résztvevők megtanulják, hogyan integrálható a Kafka Streams egy sor minta Java-alkalmazásba, amelyek az adatokat a Kafka szolgáltatásáig és onnan át folyamatos feldolgozásra továbbítják.
A képzés végén a résztvevők:
- Megérteni a Kafka Streams jellemzőit és előnyeit más adatfolyam-feldolgozási keretrendszerekkel szemben
- Közvetlenül egy Kafka fürtön belül feldolgozni az adatfolyamokat
- Java vagy Scala alkalmazást vagy mikroszolgáltatást írni, amely integrálja a Kafkát és a Kafka Streams-t
- Rövid kódot írni, ami bemeneti Kafka témákat kimeneti Kafka témákba alakít
- Építeni, csomagolni és üzembe helyezni az alkalmazást
Célcsoport
- Fejlesztők
Képzés formája
- Részben előadás, részben vitafórum, gyakorlatok és intenzív gyakorlás
Megjegyzések
- Egy személyre szabott képzés kérése esetén kérjük, lépjen kapcsolatba velünk a rendezés érdekében
Administration of Kafka Topic
14 ÓrákEz az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) kezdő és középszintű rendszergazdáknak szól, akik szeretnék megtanulni, hogyan kell hatékonyan kezelni a Kafka-témákat a hatékony adatfolyam és -feldolgozás érdekében.
A képzés végére a résztvevők képesek lesznek:
- Ismerje meg a Kafka-téma alapjait és az építészetet.
- Kafka témák létrehozása, konfigurálása és kezelése.
- Figyelje a Kafka-témákat az egészségre, a teljesítményre és a rendelkezésre állásra vonatkozóan.
- Biztonsági intézkedések végrehajtása a Kafka-témák esetében.
SMACK Stack a Data Science-hez
14 ÓrákEz az oktató által vezetett, élő kormányzás Magyarország-ban (online vagy helyszíni) adatait tudósokra irányul, akik szeretnék használni a SMACK stack-ot nagy adatmegoldásokhoz.
Ez az oktatási program végére a résztvevők képesek lesznek:
- Adatfeldolgozási architektúra kialakítása nagy adatok kezeléséhez.
- Klüster infrastruktúra fejlesztése Apache Mesos és Docker használatával.
- Adatok elemzése Spark és Scala segítségével.
- Strukturálhatatlan adatok kezelése Apache Cassandra használatával.
Python and Spark for Big Data (PySpark)
21 ÓrákEzen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.
A képzés végére a résztvevők képesek lesznek:
- Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
- Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
- Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.
Microservices with Spring Cloud and Kafka
21 ÓrákEz az oktató vezetett, élő képzés Magyarország (online vagy személyesen) olyan fejlesztőknek tartott, akik hagyományos architektúrát szeretnének átalakítani nagy teljesítményű mikroszolgáltatás-alapú architektúrává a Spring Cloud, Kafka, Docker, Kubernetes és Redis használatával.
E képzés végére az egyes résztvevők képesek lesznek:
- Beállítani a mikroszolgáltatások kifejlesztéséhez szükséges fejlesztői környezetet.
- Tervezni és megvalósítani nagy teljesítményű mikroszolgáltatási ökoszisztémát a Spring Cloud, Kafka, Redis, Docker és Kubernetes használatával.
- Átalakítani monolitikus és SOA szolgáltatásokat mikroszolgáltatás-alapú architektúrává.
- Felvenni DevOps megközelítést a szoftverek fejlesztéséhez, teszteléséhez és kiadásához.
- Garantálni a mikroszolgáltatások közötti nagy teljesítményt a termelésben.
- Monitorozni a mikroszolgáltatásokat és helyreállítási stratégiákat implementálni.
- Végrehajtani a teljesítmény finomhangolását.
- Tudni az eljövendő tendenciákról a mikroszolgáltatás-architektúrában.
Stratio: Rocket és Intelligence Modulok PySpark-vel
14 ÓrákStratio egy adatokra összpontosító platform, amely nagy adatok, mesterséges intelligencia (AI) és kormányzati funkciókat integrál egy egyetlen megoldásba. Az Rocket és Intelligence modullai lehetővé teszik a gyors adatfelfedezést, átalakítást és előrehaladott analitikai feladatok végrehajtását vállalati környezetekben.
Ez az oktatóvezetett élő tanfolyam (online vagy helyszínen) középszerű szintű adatszakembereknek szól, akik hatékonyan szeretnék használni az Stratio Rocket és Intelligence modullait PySpark-al, a ciklusok, felhasználódefiniált függvények és előrehaladott adatlogika hangsúlyozásával.
E tanfolyam végére a résztvevők képesek lesznek:
- Navigálni és dolgozni az Stratio platformon az Rocket és Intelligence modullal.
- Alkalmazni PySpark-t az adatbefogadás, átalakítás és elemzés kontextusában.
- Ciklusokat és feltételes logikát használni az adatfolyamok és a jellemzők generálásának ellenőrzéséhez.
- Létrehozni és kezelni felhasználódefiniált függvényeket (UDF) ismételten felhasználható adatműveletekhez PySpark-ban.
A tanfolyam formátuma
- Interaktív előadás és beszélgetés.
- Sokat gyakorolunk és gyakorolunk.
- Kézbesített implementáció élő laboratóriumi környezetben.
A tanfolyam testreszabási lehetőségei
- Egy testreszabott tanfolyam kéréséhez kérjük, lépjen kapcsolatba velünk.