Kurzusleírás

Bevezetés

Scala Programming a mélyreható áttekintésben

  • Szintaxis és szerkezet
  • Áramlásszabályozás és funkciók

Spark Internals

  • Rugalmas elosztott adatkészletek (RDD)
  • Spark script grafikon és fürt között

A Spark Streaming áttekintése

  • Streaming architektúra
  • Időközök a streamingben
  • Hibatűrés

Fejlesztési környezet előkészítése

  • Telepítés és konfigurálás Apache Spark
  • Az Scala IDE telepítése és konfigurálása
  • JDK telepítése és konfigurálása

Spark Streaming Kezdőtől haladóig

  • Kulcs/érték RDD-k használata
  • RDD-k szűrése
  • Spark-szkriptek fejlesztése reguláris kifejezésekkel
  • Adatok megosztása egy fürtön
  • Munkavégzés hálózati adatkészletekkel
  • BFS algoritmusok megvalósítása
  • Spark illesztőprogram-szkriptek létrehozása
  • Nyomon követés valós időben szkriptekkel
  • Folyamatos pályázatok írása
  • Streaming lineáris regresszió
  • A Spark Machine Learning könyvtár használata

Szikra és fürtök

  • Függőségek és Spark-szkriptek kötegelése az SBT eszközzel
  • EMR használata a klaszterek illusztrálására
  • Optimalizálás RDD-k particionálásával
  • Spark naplók használata

Integráció a Spark Streaming-ban

  • A Apache Kafka integrálása és a Kafka témákkal való munka
  • Az Apache Fume integrálása és a pull-alapú/push-alapú Flume konfigurációkkal való munka
  • Egyedi vevőosztály írása
  • Az adatok integrálása Cassandra és valós idejű szolgáltatásként való megjelenítése

Termelésben

  • Egy alkalmazás becsomagolása és futtatása a Spark-Submit segítségével
  • Spark-feladatok és -fürtök hibaelhárítása, hangolása és hibakeresése

Összefoglalás, és következtetés

Követelmények

  • Programming és szkriptelési tapasztalat

Közönség

  • Szoftvermérnökök
  21 Hours

Résztvevők száma


Tanfolyam kezdete

Tanfolyam vége


Dates are subject to availability and take place between 09:30 and 16:30.

Ár per résztvevő

Vélemények (4)

Rokon tanfolyam

Big Data Analytics in Health

  21 Hours

Rokon kategóriák