Kurzusleírás
Bevezetés
A nagy adatok megértése
A Spark áttekintése
A Python áttekintése
A PySpark áttekintése
- Adatok terjesztése a Resilient Distributed Datasets keretrendszerrel
- Számítások terjesztése a Spark API operátorokkal
A Python beállítása Sparkkal
A PySpark beállítása
Amazon Web Services (AWS) EC2 példányok használata Sparkhoz
A Databricks beállítása
Az AWS EMR klaszter beállítása
A Python programozás alapjainak megtanulása
- Bevezetés a Pythonba
- A Jupyter Notebook használata
- Változók és egyszerű adattípusok használata
- Listák használata
- if állítások használata
- Felhasználói bemenetek használata
- while ciklusok használata
- Függvények implementálása
- Osztályok használata
- Fájlok és kivételek használata
- Projektek, adatok és API-k használata
A Spark DataFrame alapjainak megtanulása
- Bevezetés a Spark DataFrames-be
- Alapműveletek implementálása Sparkkal
- Groupby és aggregációs műveletek használata
- Időbélyegek és dátumok használata
Spark DataFrame projektgyakorlat
Gépi tanulás megértése MLlib segítségével
MLlib, Spark és Python használata gépi tanuláshoz
Regressziók megértése
- Lineáris regresszió elméletének megtanulása
- Regresszió kiértékelő kód implementálása
- Mintalineáris regressziós gyakorlat
- Logisztikus regresszió elméletének megtanulása
- Logisztikus regressziós kód implementálása
- Mintalogisztikus regressziós gyakorlat
Véletlen erdők és döntési fák megértése
- Fa módszerek elméletének megtanulása
- Döntési fák és véletlen erdők kódjainak implementálása
- Mintavéletlen erdő osztályozási gyakorlat
K-means klaszterezés használata
- K-means klaszterezés elméletének megértése
- K-means klaszterező kód implementálása
- Mintaklaszterezési gyakorlat
Ajánlórendszerek használata
Természetes nyelv feldolgozás implementálása
- Természetes nyelv feldolgozás (NLP) megértése
- NLP eszközök áttekintése
- Minta NLP gyakorlat
Streaming használata Sparkkal Pythonban
- Streaming áttekintése Sparkkal
- Minta Spark streaming gyakorlat
Záró megjegyzések
Követelmények
- Általános programozási ismeretek
Célközönség
- Fejlesztők
- IT szakemberek
- Adattudósok
Vélemények (6)
Szerettek, hogy gyakorlati volt. Örültem annak, hogy a teóriai ismereteket gyakorlati példákkal alkalmazhattam.
Aurelia-Adriana - Allianz Services Romania
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
A kurzus számos összefüggő, nagyon bonyolult témával foglalkozott, és Pablonak mély ismerete van mindegyikükben. Néha a nuancák elvesztek a kommunikáció során és/vagy az időnyomás miatt, és ezek miatt valószínűleg nem teljesítették a vártakat. Emellett néhány UHG/Azure Databricks beállítási probléma is felmerült, de Pablonak és az UHG-nak gyorsan sikerült megoldani ezeket, amint jelekbe kerültek - ez számomra mutatott egy magas színvonalú megértésre és professzionális viselkedésre az UHG és Pablon között,
Michael Monks - Tech NorthWest Skillnet
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Egyéni figyelmet.
ARCHANA ANILKUMAR - PPL
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Személyes gyakorlás..
Abraham Thomas - PPL
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
A leckéket egy Jupyter notebookban tanították. A témaköröket logikus sorrendben rendezték, és természetes módon segítték a munkaegyet az egyszerűbb részletekről a bonyolultabbakra fejleszteni. Én már haladó felhasználó vagyok Pythonnal, és van háttérem gépi tanulással, ezért számomra könnyebb volt követni a kurzust, mint talán néhány osztalmitársamnak, akik ismertek be a képzésben. Értékelem, hogy a legalapvetőbb fogalmakat kihagyták, és a legfontosabb témaokra koncentrált.
Angela DeLaMora - ADT, LLC
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
gyakorló feladatok
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás