Kurzusleírás
Bevezetés
Megértés Big Data
A Spark áttekintése
A Python áttekintése
A PySpark áttekintése
- Adatok elosztása rugalmas elosztott adatkészletek keretrendszerrel
- Számítás elosztása Spark API-operátorok segítségével
Beállítás Python a Spark segítségével
Beállítás PySpark
Amazon Web Services (AWS) EC2 példányok használata a Sparkhoz
Beállítás Databricks
Az AWS EMR-fürt beállítása
A Python Programming alapjainak elsajátítása
- Kezdő lépések: Python
- A Jupyter Notebook használata
- Változók és egyszerű adattípusok használata
- Munka a listákkal
- Az if-kimutatások használata
- Felhasználói bemenetek használata
- A while Loops használata
- Funkciók megvalósítása
- Osztályokkal való munka
- Fájlok és kivételek kezelése
- Munka projektekkel, adatokkal és API-kkal
A Spark DataFrame alapjainak elsajátítása
- A Spark DataFrames használatának első lépései
- Alapvető műveletek végrehajtása a Spark segítségével
- Groupby és Aggregate Operations használata
- Időbélyegek és dátumok használata
Spark DataFrame projekt gyakorlaton való munka
A Machine Learning értelmezése az MLlib segítségével
MLlib, Spark és Python használata a Machine Learning-hoz
A regressziók megértése
- Lineáris regresszióelmélet elsajátítása
- Regressziós értékelési kód végrehajtása
- Egy minta lineáris regressziós gyakorlaton végzett munka
- Logisztikai regresszióelmélet elsajátítása
- Logisztikai regressziós kód végrehajtása
- Minta logisztikai regressziós gyakorlaton dolgozni
A Random Forest-ok megértése és a döntési fák
- Tanulási fa módszerek elmélete
- Végrehajtási határozatok fák és Random Forest kódok
- Munka egy mintán Random Forest Osztályozási gyakorlat
Munka a K-eszközök klaszterezéssel
- A K-eszközök klaszterezés elméletének megértése
- K-eszköz klaszterezési kód megvalósítása
- Mintacsoportosítási gyakorlaton való munka
Recommender Systems használata
A természetes nyelvi feldolgozás megvalósítása
- Megértés Natural Language Processing (NLP)
- Az NLP eszközök áttekintése
- Munka egy minta NLP gyakorlaton
Streamelés a Spark segítségével a Python-en
- Áttekintés Streamelés a Spark segítségével
- Minta Spark Streaming Gyakorlat
Zárszó
Követelmények
- Általános programozási ismeretek
Közönség
- Fejlesztők
- IT szakemberek
- Adattudósok
Vélemények (6)
Szerettek, hogy gyakorlati volt. Örültem annak, hogy a teóriai ismereteket gyakorlati példákkal alkalmazhattam.
Aurelia-Adriana - Allianz Services Romania
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
A kurzus számos összefüggő, nagyon bonyolult témával foglalkozott, és Pablonak mély ismerete van mindegyikükben. Néha a nuancák elvesztek a kommunikáció során és/vagy az időnyomás miatt, és ezek miatt valószínűleg nem teljesítették a vártakat. Emellett néhány UHG/Azure Databricks beállítási probléma is felmerült, de Pablonak és az UHG-nak gyorsan sikerült megoldani ezeket, amint jelekbe kerültek - ez számomra mutatott egy magas színvonalú megértésre és professzionális viselkedésre az UHG és Pablon között,
Michael Monks - Tech NorthWest Skillnet
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Egyéni figyelmet.
ARCHANA ANILKUMAR - PPL
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Személyes gyakorlás..
Abraham Thomas - PPL
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
A leckéket egy Jupyter notebookban tanították. A témaköröket logikus sorrendben rendezték, és természetes módon segítték a munkaegyet az egyszerűbb részletekről a bonyolultabbakra fejleszteni. Én már haladó felhasználó vagyok Pythonnal, és van háttérem gépi tanulással, ezért számomra könnyebb volt követni a kurzust, mint talán néhány osztalmitársamnak, akik ismertek be a képzésben. Értékelem, hogy a legalapvetőbb fogalmakat kihagyták, és a legfontosabb témaokra koncentrált.
Angela DeLaMora - ADT, LLC
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
gyakorló feladatok
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás