Kurzusleírás
Bevezetés
Scala Programming a mélyreható áttekintésben
- Szintaxis és szerkezet
- Áramlásszabályozás és funkciók
Spark Internals
- Rugalmas elosztott adatkészletek (RDD)
- Spark script grafikon és fürt között
A Spark Streaming áttekintése
- Streaming architektúra
- Időközök a streamingben
- Hibatűrés
Fejlesztési környezet előkészítése
- Telepítés és konfigurálás Apache Spark
- Az Scala IDE telepítése és konfigurálása
- JDK telepítése és konfigurálása
Spark Streaming Kezdőtől haladóig
- Kulcs/érték RDD-k használata
- RDD-k szűrése
- Spark-szkriptek fejlesztése reguláris kifejezésekkel
- Adatok megosztása egy fürtön
- Munkavégzés hálózati adatkészletekkel
- BFS algoritmusok megvalósítása
- Spark illesztőprogram-szkriptek létrehozása
- Nyomon követés valós időben szkriptekkel
- Folyamatos pályázatok írása
- Streaming lineáris regresszió
- A Spark Machine Learning könyvtár használata
Szikra és fürtök
- Függőségek és Spark-szkriptek kötegelése az SBT eszközzel
- EMR használata a klaszterek illusztrálására
- Optimalizálás RDD-k particionálásával
- Spark naplók használata
Integráció a Spark Streaming-ban
- A Apache Kafka integrálása és a Kafka témákkal való munka
- Az Apache Fume integrálása és a pull-alapú/push-alapú Flume konfigurációkkal való munka
- Egyedi vevőosztály írása
- Az adatok integrálása Cassandra és valós idejű szolgáltatásként való megjelenítése
Termelésben
- Egy alkalmazás becsomagolása és futtatása a Spark-Submit segítségével
- Spark-feladatok és -fürtök hibaelhárítása, hangolása és hibakeresése
Összefoglalás, és következtetés
Követelmények
- Programming és szkriptelési tapasztalat
Közönség
- Szoftvermérnökök
Vélemények (4)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Kurzus - Python and Spark for Big Data (PySpark)
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Kurzus - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurzus - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.