Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kurzusleírás
- Scala primer A Scala Labs gyors bemutatása: A Scala Spark alapjainak megismerése Háttér és előzmények Spark és Hadoop Spark koncepciók és architektúra Spark ökorendszer (core, spark sql, mlib, streaming) Labs : A Spark First Look telepítése és futtatása a Spark Running Spark alkalmazásban helyi mód Spark web UI Spark shell Adatkészlet elemzése – 1. rész RDD-k vizsgálata Labs: Spark shell feltárása RDD-k RDD-koncepciói Partíciók RDD-műveletek / átalakítások RDD-típusok Kulcs-érték pár RDD-k MapReduce on RDD Gyorsítótárazás és perzisztencia Labs: RDD-k létrehozása és ellenőrzése; RDD-k gyorsítótárazása Spark API programozás Bevezetés a Spark API-ba / RDD API Az első program beküldése a Sparkba Hibakeresés/naplózás Konfigurációs tulajdonságok Laboratóriumok : Programozás Spark API-ban, Feladatok beküldése Spark SQL SQL támogatás Spark adatkeretekben Táblázatok meghatározása és adatkészletek importálása Adatok lekérdezése keretek SQL használatával Tárolási formátumok : JSON / Parquet Labs : Adatkeretek létrehozása és lekérdezése; adatformátumok kiértékelése MLlib MLlib intro MLlib algoritmusok Labs : MLib alkalmazások írása GraphX GraphX könyvtár áttekintése GraphX API-k Labs : Grafikonadatok feldolgozása Spark Spark Streaming segítségével Streaming áttekintés Streaming platformok értékelése Streamelési műveletek Csúszóablak műveletek Hadoopk Indoopk Labs : Alkalmazások írása Spark és spartro HDFS / YARN) Hadoop + Spark architektúra Spark futtatása Hadoop YARN-on HDFS-fájlok feldolgozása a Spark Spark teljesítmény és hangolás segítségével, a közvetítési változók Akkumulátorok Memóriakezelés és gyorsítótár Spark-műveletek A Spark üzembe helyezése az éles környezetben Minta telepítési sablonok Konfigurációk Figyelés Hibaelhárítás
Követelmények
ELŐFELTÉTELEK
Java / Scala / Python nyelv ismerete (laboratóriumaink a Scala és Python nyelveken) a Linux fejlesztői környezet alapvető ismerete (parancssori navigáció / fájlok szerkesztése VI vagy nano használatával)
21 Hours