Kurzusleírás
Bemutatkozás
A nagyadatok megértése
Spark áttekintése
Python áttekintése
PySpark áttekintése
- Adatok elosztása a Resilient Distributed Datasets keretrendszerrel
- Számítási feladatok elosztása a Spark API operátorokkal
Python beállítása Sparkkal
PySpark beállítása
Amazon Web Services (AWS) EC2 példányok használata Sparkhoz
Databricks beállítása
AWS EMR csomag beállítása
A Python programozás alapjainak elsajátítása
- Bevezetés a Pythonba
- Jupyter Notebook használata
- Változók és egyszerű adattípusok használata
- Műveletek listákkal
- if nyilatkozatok használata
- Felhasználói bemenetek kezelése
- while ciklusok használata
- Függvények megvalósítása
- Műveletek osztályokkal
- Műveletek fájlokkal és kivételekkel
- Műveletek projektekkel, adatokkal és API-kkal
A Spark DataFrame alapjainak elsajátítása
- Bevezetés a Spark DataFrame-be
- Alapműveletek végrehajtása Sparkkal
- Groupby és aggregációs műveletek használata
- Műveletek időbélyegekkel és dátumokkal
Gyakorlati feladat Spark DataFrame projekten
Megértés: gépi tanulás MLlib-ben
Műveletek MLlib-ben, Sparkkal és Pythonnal gépi tanulásra
Megértés: regressziók
- Lineáris regresszió elméletének tanulása
- Regressziós értékelő kód megvalósítása
- Minta lineáris regressziós gyakorlat
- Logisztikus regresszió elméletének tanulása
- Logisztikus regressziós kód megvalósítása
- Minta logisztikus regressziós gyakorlat
Megértés: véletlen erdők és döntési fák
- Fás módszerek elméletének tanulása
- Döntési fa és véletlen erdő kódok megvalósítása
- Minta véletlen erdő osztályozási gyakorlat
Műveletek K-means klaszterezéssel
- A K-means klaszterezés elméletének megértése
- K-means klaszterezési kód megvalósítása
- Minta klaszterezési gyakorlat
Műveletek ajánló rendszerekkel
Szabálytalan nyelvi feldolgozás (NLP) megvalósítása
- A szabálytalan nyelvi feldolgozás (NLP) megértése
- NLP eszközök áttekintése
- Minta NLP gyakorlat
Streameldolgozás Sparkkal Pythonban
- Streameldolgozás Sparkkal – áttekintés
- Minta Spark streaming gyakorlat
Követelmények
- Általános programozási ismeretek
Célcsoport
- Fejlesztők
- IT szakemberek
- Adattudósok
Vélemények (6)
Szerettek, hogy gyakorlati volt. Örültem annak, hogy a teóriai ismereteket gyakorlati példákkal alkalmazhattam.
Aurelia-Adriana - Allianz Services Romania
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
A kurzus számos összefüggő, nagyon bonyolult témával foglalkozott, és Pablonak mély ismerete van mindegyikükben. Néha a nuancák elvesztek a kommunikáció során és/vagy az időnyomás miatt, és ezek miatt valószínűleg nem teljesítették a vártakat. Emellett néhány UHG/Azure Databricks beállítási probléma is felmerült, de Pablonak és az UHG-nak gyorsan sikerült megoldani ezeket, amint jelekbe kerültek - ez számomra mutatott egy magas színvonalú megértésre és professzionális viselkedésre az UHG és Pablon között,
Michael Monks - Tech NorthWest Skillnet
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Egyéni figyelmet.
ARCHANA ANILKUMAR - PPL
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
Személyes gyakorlás..
Abraham Thomas - PPL
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
A leckéket egy Jupyter notebookban tanították. A témaköröket logikus sorrendben rendezték, és természetes módon segítték a munkaegyet az egyszerűbb részletekről a bonyolultabbakra fejleszteni. Én már haladó felhasználó vagyok Pythonnal, és van háttérem gépi tanulással, ezért számomra könnyebb volt követni a kurzust, mint talán néhány osztalmitársamnak, akik ismertek be a képzésben. Értékelem, hogy a legalapvetőbb fogalmakat kihagyták, és a legfontosabb témaokra koncentrált.
Angela DeLaMora - ADT, LLC
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
gyakorló feladatok
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurzus - Python and Spark for Big Data (PySpark)
Gépi fordítás
