Kurzusleírás
Bevezetés
A Spark Streaming szolgáltatások és építészet áttekintése
- Támogatott adatforrások
- Alapvető API-k
A környezet előkészítése
- Függőségek
- Spark és adatfolyam-kontextus
- Csatlakozás Kafkához
Üzenetek feldolgozása
- A bejövő üzenetek elemzése JSON-ként
- ETL folyamatok
- A streamelési környezet indítása
Ablakos Stream Processing végrehajtása
- Dia intervallum
- Ellenőrzőpont szállítási konfiguráció
- A környezet elindítása
A feldolgozási kód prototípusa
- Kapcsolódás egy Kafka-témához
- JSON lekérése adatforrásból a Paw használatával
- Variációk és kiegészítő feldolgozás
A kód streamelése
- Munkaellenőrzési változók
- Egyező értékek meghatározása
- Funkciók és feltételek
Adatfolyam kimenet megszerzése
- Számlálók
- Kafka kimenet (egyeztetett és nem egyező)
Hibaelhárítás
Összefoglalás, és következtetés
Követelmények
- Tapasztalat Python és Apache Kafka
- Az adatfolyam-feldolgozó platformok ismerete
Közönség
- Adatmérnökök
- Adattudósok
- Programozók
Vélemények (4)
Az oktató nagyon készen állt, hogy válaszoljon minden kérdésemre
Caterina - Stamtech
Kurzus - Developing APIs with Python and FastAPI
Machine Translated
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Kurzus - Build REST APIs with Python and Flask
Az oktató gyakorlati ismereteinek és tapasztalatainak átadása.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Kurzus - GUI Programming with Python and PyQt
Machine Translated
As I was the only participant the training could be adapted to my needs.