Kurzusleírás

Bevezetés

  • Apache Beam kontra MapReduce, Spark Streaming, Kafka Streaming, Storm és Flink

Telepítés és konfigurálás Apache Beam

A Apache Beam szolgáltatások és építészet áttekintése

  • Sugármodell, SDK-k, gerendacsővezeték-futók
  • Elosztott feldolgozási háttérrendszerek

A Apache Beam Programming modell megértése

  • Hogyan történik egy csővezeték végrehajtása

Mintavezeték futtatása

  • Egy WordCount pipeline előkészítése
  • A csővezeték helyi kivitelezése

Csővezeték tervezése

  • A szerkezet tervezése, a transzformációk kiválasztása, a bemeneti és kimeneti módszerek meghatározása

A csővezeték létrehozása

  • Az illesztőprogram megírása és a folyamat definiálása
  • Apache Beam osztály használata
  • Adatkészletek, átalakítások, I/O, adatkódolás stb.

A csővezeték végrehajtása

  • A folyamat végrehajtása helyben, távoli gépeken és nyilvános felhőn
  • Futó kiválasztása
  • Futóspecifikus konfigurációk

Tesztelés és hibakeresés Apache Beam

  • Típusi tippek használata a statikus gépelés emulálásához
  • Python Pipeline Dependenciák kezelése

Korlátozott és korlátlan adatkészletek feldolgozása

  • Ablakozás és triggerek

Csővezetékei újrafelhasználhatóvá és karbantarthatóvá tétele

Hozzon létre új adatforrásokat és nyelőket

  • Apache Beam Source and Sink API

A Apache Beam integrálása más Big Data rendszerekkel

  • Apache Hadoop, Apache Spark, Apache Kafka

Hibaelhárítás

Összefoglalás, és következtetés

Követelmények

  • Python Programozásban szerzett tapasztalat.
  • Linux parancssor használatában szerzett tapasztalat.

Közönség

  • Fejlesztők
 14 Hours

Résztvevők száma



Ár per résztvevő

Vélemények (1)

Rokon tanfolyam

Stream Processing with Kafka Streams

7 Hours

Rokon kategóriák