Kurzusleírás

Bevezetés

A Spark Streaming szolgáltatások és építészet áttekintése

  • Támogatott adatforrások
  • Alapvető API-k

A környezet előkészítése

  • Függőségek
  • Spark és adatfolyam-kontextus
  • Csatlakozás Kafkához

Üzenetek feldolgozása

  • A bejövő üzenetek elemzése JSON-ként
  • ETL folyamatok
  • A streamelési környezet indítása

Ablakos Stream Processing végrehajtása

  • Dia intervallum
  • Ellenőrzőpont szállítási konfiguráció
  • A környezet elindítása

A feldolgozási kód prototípusa

  • Kapcsolódás egy Kafka-témához
  • JSON lekérése adatforrásból a Paw használatával
  • Variációk és kiegészítő feldolgozás

A kód streamelése

  • Munkaellenőrzési változók
  • Egyező értékek meghatározása
  • Funkciók és feltételek

Adatfolyam kimenet megszerzése

  • Számlálók
  • Kafka kimenet (egyeztetett és nem egyező)

Hibaelhárítás

Összefoglalás, és következtetés

Követelmények

  • Tapasztalat Python és Apache Kafka
  • Az adatfolyam-feldolgozó platformok ismerete

Közönség

  • Adatmérnökök
  • Adattudósok
  • Programozók
  7 Hours
 

Résztvevők száma


Tanfolyam kezdete

Tanfolyam vége


Dates are subject to availability and take place between 09:30 and 16:30.
Open Training Courses require 5+ participants.

Vélemények (4)

Rokon tanfolyam

Rokon kategóriák