Kurzusleírás
Bevezetés
Megértés Big Data
A Spark áttekintése
A Python áttekintése
A PySpark áttekintése
- Adatok elosztása rugalmas elosztott adatkészletek keretrendszerrel
- Számítás elosztása Spark API-operátorok segítségével
Beállítás Python a Spark segítségével
Beállítás PySpark
Amazon Web Services (AWS) EC2 példányok használata a Sparkhoz
Beállítás Databricks
Az AWS EMR-fürt beállítása
A Python Programming alapjainak elsajátítása
- Kezdő lépések: Python
- A Jupyter Notebook használata
- Változók és egyszerű adattípusok használata
- Munka a listákkal
- Az if-kimutatások használata
- Felhasználói bemenetek használata
- A while Loops használata
- Funkciók megvalósítása
- Osztályokkal való munka
- Fájlok és kivételek kezelése
- Munka projektekkel, adatokkal és API-kkal
A Spark DataFrame alapjainak elsajátítása
- A Spark DataFrames használatának első lépései
- Alapvető műveletek végrehajtása a Spark segítségével
- Groupby és Aggregate Operations használata
- Időbélyegek és dátumok használata
Spark DataFrame projekt gyakorlaton való munka
A Machine Learning értelmezése az MLlib segítségével
MLlib, Spark és Python használata a Machine Learning-hoz
A regressziók megértése
- Lineáris regresszióelmélet elsajátítása
- Regressziós értékelési kód végrehajtása
- Egy minta lineáris regressziós gyakorlaton végzett munka
- Logisztikai regresszióelmélet elsajátítása
- Logisztikai regressziós kód végrehajtása
- Minta logisztikai regressziós gyakorlaton dolgozni
A Random Forest-ok megértése és a döntési fák
- Tanulási fa módszerek elmélete
- Végrehajtási határozatok fák és Random Forest kódok
- Munka egy mintán Random Forest Osztályozási gyakorlat
Munka a K-eszközök klaszterezéssel
- A K-eszközök klaszterezés elméletének megértése
- K-eszköz klaszterezési kód megvalósítása
- Mintacsoportosítási gyakorlaton való munka
Recommender Systems használata
A természetes nyelvi feldolgozás megvalósítása
- Megértés Natural Language Processing (NLP)
- Az NLP eszközök áttekintése
- Munka egy minta NLP gyakorlaton
Streamelés a Spark segítségével a Python-en
- Áttekintés Streamelés a Spark segítségével
- Minta Spark Streaming Gyakorlat
Zárszó
Követelmények
- Általános programozási ismeretek
Közönség
- Fejlesztők
- IT szakemberek
- Adattudósok
Vélemények (6)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
A kurzus egy nagyon bonyolult, összekapcsolt témák sorozatáról szólt és Pablo mindegyikben mélyreható szakértelmet mutatott. Néha a kommunikáció finomságai elvesztek és/ vagy időnyomás miatt nem teljesítették teljesen a várakozásokat. UHG/Azure Databricks beállítási problémák is voltak, azonban Pablo / UHG ezek megoldására gyorsan reagáltak miután nyilvánvalóvá váltak - ez nekem nagyon magas szintű értésről és szakmai felkészültségről tanúskodott az UHG és Pablo között.
Michael Monks - Tech NorthWest Skillnet
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Egyéni figyelmet kap.
ARCHANA ANILKUMAR - PPL
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Kezdő szintű gyakorlatok.
Abraham Thomas - PPL
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Az óradékokat Jupyter notebookban tanították. A témák logikus sorrendben voltak szervezve, természetesen segítettek a részvételt az egyszerűbb részekről a bonyolultabbakig fejlődni. Én már haladó felhasználó vagyok Python-ban, és van háttérem Machine Learning-ban, ezért a tanfolyam könnyebben követhető volt számára, mint talán néhányan a tanulóim közül, akik részt vettek a tanfolyamon. Elégedettem, hogy a legalkalmasabb koncepciókat kihagyták és az alaposabb dolgokra koncentrált.
Angela DeLaMora - ADT, LLC
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
gyakorló feladatok
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás