Stream Processing with Kafka Streams Képzés

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik szeretnének integrálni Apache Kafka meglévő adatbázisokkal és alkalmazásokkal feldolgozás, elemzés stb.

A képzés végére a résztvevők képesek lesznek:

• Kafka Connect használatával nagy mennyiségű adatot importálnak adatbázisból Kafka tópusokba.
• Alkalmazás-szerver által generált naplóadatok importálása Kafka tópusokba.
• Mind az összegyűjtött adatot elérhetővé teszik a folyamatos feldolgozáshoz.
• Adatok exportálása Kafka tópusokból másodlagos rendszerekbe a tároláshoz és elemzéshez.

Az Apache Beam egy nyílt forráskódú, egységes programozási modell párhuzamos adatfeldolgozási folyamatok meghatározására és végrehajtására. Ereje abban rejlik, hogy képes kötegelt és adatfolyam-folyamatokat is futtatni, a végrehajtást pedig a Beam egyik támogatott elosztott feldolgozási háttérrendszere hajtja végre: Apache Apex, Apache Flink, Apache Spark és Google Cloud Dataflow. Az Apache Beam olyan ETL (Extract, Transform, and Load) feladatoknál hasznos, mint például az adatok mozgatása különböző tárolóeszközök és adatforrások között, az adatok kívánatosabb formátumba való átalakítása és az adatok új rendszerbe való betöltése.

Ezen az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan implementálják az Apache Beam SDK-kat egy Java vagy Python alkalmazásban, amely adatfeldolgozási folyamatot határoz meg a nagy adathalmazok kisebb darabokra bontásához. független, párhuzamos feldolgozáshoz.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja Apache Beam.
• Használjon egyetlen programozási modellt a kötegelt és adatfolyam-feldolgozás végrehajtásához a Java vagy Python alkalmazásból.
• Csővezetékek végrehajtása több környezetben.

A tanfolyam formátuma

• Rész előadás, részben beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Jegyzet

• Ez a tanfolyam a jövőben elérhető lesz Scala. Kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

Ez az oktató által vezetett, élő képzés (helyszíni vagy távoli) célja a mérnökök, akik szeretnék használni Fluent (eloszlása Kafka) építeni és kezelni a valós idejű adatfeldolgozó platform azok alkalmazásait.

végére a képzés, a résztvevők képesek lesznek:

• Confluent Platform telepítése és konfigurálása.
• Confluent kezelőeszközeinek és szolgáltatásainak használata a Kafka könnyebb működtetéséhez.
• Bejövő adatok folyamának tárolása és feldolgozása.
• Kafka csomagok optimalizálása és kezelése.
• Adatfolyamok biztonságosítása.

formátuma tanfolyam

• Interaktív előadás és beszélgetés.
• Számos gyakorlat és gyakorlás.
• Élő-laboratóriumi környezetben történő gyakorlati megvalósítás.

tanfolyam testreszabási beállítások

• Ez a tanfolyam a Confluent nyílt forrású verzióján alapul: Confluent Open Source.
• A tanfolyam testreszabására keressék fel minket, hogy megbeszéljük.

Apache Kafka egy elosztott streaming platform. Ez ténylegesen az adatvezetékek építésének szabványa, és sok különféle felhasználási esetet old meg az adatfeldolgozás körül: felhasználható üzenet-sorként, elosztott naplóként, adatfolyam-feldolgozóként stb.

Először az adatvezetékek mögött álló néhány elmélettel kezdjük, majd a Kafka mögött meghúzódó alapvető koncepciókkal kezdjük. Fontos összetevőket is felfedezünk, például a Kafka Streams és a Kafka Connect.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja az elosztott adatfolyam- és kötegelt adatfeldolgozás mögött meghúzódó elveket és megközelítéseket, és végigvezeti a résztvevőket egy valós idejű adatfolyam-alkalmazás létrehozásán a Apache Flink-ban.

A képzés végére a résztvevők képesek lesznek:

• Környezet létrehozása adatelemző alkalmazások fejlesztéséhez.
• Ismerje meg, hogyan működik Apache Flink gráffeldolgozó könyvtára (Gelly).
• Flink-alapú, hibatűrő, adatfolyam-küldő alkalmazások becsomagolása, végrehajtása és figyelése.
• Változatos munkaterhelések kezelése.
• Végezzen haladó elemzést.
• Hozzon létre egy több csomópontból álló Flink-fürtöt.
• Mérje meg és optimalizálja a teljesítményt.
• Integrálja a Flink-et különböző Big Data rendszerekkel.
• Hasonlítsa össze a Flink képességeit más big data feldolgozó keretrendszerekkel.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan állíthatnak be és integrálhatnak különböző Stream Processing keretrendszereket a meglévő nagy adattároló rendszerekkel, valamint a kapcsolódó szoftveralkalmazásokkal és mikroszolgáltatásokkal.

A képzés végére a résztvevők képesek lesznek:

• Telepítsen és konfiguráljon különböző Stream Processing keretrendszereket, mint például a Spark Streaming és a Kafka Streaming.
• Ismerje meg és válassza ki a legmegfelelőbb keretet a munkához.
• Adatfeldolgozás folyamatosan, párhuzamosan és rekordonként.
• Integrálja Stream Processing megoldásait meglévő adatbázisokkal, adattárházakkal, adattókkal stb.
• Integrálja a legmegfelelőbb adatfolyam-feldolgozási könyvtárat a vállalati alkalmazásokkal és mikroszolgáltatásokkal.

Ez a kurzus a vállalati építészeknek, fejlesztőknek, rendszergazdáknak és bárkinek, aki meg akarja érteni és használni egy nagy teljesítményű elosztott üzenetküldő rendszert. Ha konkrétabb követelményei vannak (pl. Csak a rendszer adminisztrációs oldala), ez a kurzus személyre szabható, hogy jobban megfeleljen az Ön igényeinek.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a rendszergazdáknak szól, akik vállalati szintű Kafka-fürtöt szeretnének felállítani, telepíteni, kezelni és optimalizálni.

A képzés végére a résztvevők képesek lesznek:

• Kafka-fürt létrehozása és adminisztrálása.
• Értékelje a Kafka on-premise és a felhőben történő telepítésének előnyeit és hátrányait.
• Telepítse és figyelje a Kafkát különféle helyszíni és felhőkörnyezeti eszközök használatával.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adatmérnököknek, adattudósoknak és programozóknak szól, akik szeretnék használni a Apache Kafka funkciókat az Python-es adatfolyamban.

A képzés végére a résztvevők képesek lesznek a Apache Kafka segítségével figyelni és kezelni a feltételeket folyamatos adatfolyamokban az Python programozás segítségével.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik a Apache Kafka adatfolyam-feldolgozást kódírás nélkül szeretnék megvalósítani.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Confluent KSQL-t.
• Állítson be egy adatfolyam-feldolgozási folyamatot csak SQL parancsok használatával (nincs Java vagy Python kódolás).
• Végezzen adatszűrést, átalakításokat, összesítést, összekapcsolást, ablakozást és szekciózást teljes egészében a SQL-ben.
• Interaktív, folyamatos lekérdezések tervezése és üzembe helyezése az ETL és a valós idejű elemzések streameléséhez.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan telepítsék és kezeljék a Apache NiFi-t élő laborkörnyezetben.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apachi NiFi-t.
• Forrása, átalakítása és kezelése különböző, elosztott adatforrásokból, beleértve az adatbázisokat és a nagy adatforrásokat.
• Automatizálja az adatfolyamokat.
• Engedélyezze a streamelési elemzést.
• Alkalmazzon különféle megközelítéseket az adatfeldolgozáshoz.
• Alakítsa át Big Data üzleti betekintést.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják az áramlásalapú programozás alapjait, miközben számos demó-bővítményt, komponenst és processzort fejlesztenek a Apache NiFi segítségével.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit.
• Bővítmények fejlesztése NiFi és harmadik féltől származó API-k használatával.
• Egyedi fejlesztésű saját Apache Nifi processzort.
• Valós idejű adatok feldolgozása és feldolgozása eltérő és nem megszokott fájlformátumokból és adatforrásokból.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adatmérnököknek, adattudósoknak és programozóknak szól, akik a Spark Streaming funkciókat szeretnék használni a valós idejű adatok feldolgozásához és elemzéséhez.

A képzés végére a résztvevők képesek lesznek a Spark Streaming segítségével feldolgozni az élő adatfolyamokat adatbázisokban, fájlrendszerekben és élő műszerfalakban.