Big Data oktatás Magyarország

Ez az oktatóvezetett, élő kiszolgált (online vagy helyszínen) képzés a közepes szintű adattudósok és mérnökök számára készült, akik nagy adatok feldolgozására és elemzésére szeretnék használni a Google Colab-ot és a Apache Spark-et.

Ez a képzés végére a résztvevők képesek lesznek:

• Nagy adatkörnyezet beállítása Google Colab-mal és Spark-kal.
• Nagy adathalmazok hatékony feldolgozása és elemzése Apache Spark-vel.
• Nagy adatok vizualizálása együttműködő környezetben.
• Apache Spark integrálása felhőalapú eszközökkel.

Stratio egy adatokra összpontosító platform, amely nagy adatok, mesterséges intelligencia (AI) és kormányzati funkciókat integrál egy egyetlen megoldásba. Az Rocket és Intelligence modullai lehetővé teszik a gyors adatfelfedezést, átalakítást és előrehaladott analitikai feladatok végrehajtását vállalati környezetekben.

Ez az oktatóvezetett élő tanfolyam (online vagy helyszínen) középszerű szintű adatszakembereknek szól, akik hatékonyan szeretnék használni az Stratio Rocket és Intelligence modullait PySpark-al, a ciklusok, felhasználódefiniált függvények és előrehaladott adatlogika hangsúlyozásával.

E tanfolyam végére a résztvevők képesek lesznek:

• Navigálni és dolgozni az Stratio platformon az Rocket és Intelligence modullal.
• Alkalmazni PySpark-t az adatbefogadás, átalakítás és elemzés kontextusában.
• Ciklusokat és feltételes logikát használni az adatfolyamok és a jellemzők generálásának ellenőrzéséhez.
• Létrehozni és kezelni felhasználódefiniált függvényeket (UDF) ismételten felhasználható adatműveletekhez PySpark-ban.

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sokat gyakorolunk és gyakorolunk.
• Kézbesített implementáció élő laboratóriumi környezetben.

A tanfolyam testreszabási lehetőségei

• Egy testreszabott tanfolyam kéréséhez kérjük, lépjen kapcsolatba velünk.

A data warehouse-készítés a gyakorlat a központosított adatkészletek tervezése, építése és üzemeltetése, amelyek támogatják az analitika, jelentéskészítés és döntéshozatali folyamatokat.

Ez az oktatóvezetett, élőlényes (online vagy helyszíni) képzés az intermediális szintű adatszakembereknek szól, akik modellálni szeretnék a dimenziós adatokat, robust ETL folyamatokat építeni, és optimalizálni szeretnék az analitikai terheléseket.

A képzés végén a résztvevők képesek lesznek:

• Megmagázni az alapvető data warehousing fogalmakat és architektúrákat.
• Dimenziós modelleket tervezni és dönteni a csillag és hópehely sémák között.
• Biztonságosan építeni és koordinálni ETL és ELT folyamatokat.
• Megkülönböztetni az OLTP és OLAP terheléseket, és optimalizálni az analitikát.

A képzés formája

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlás.
• Élőlabori környezetben történő gyakorlati implementáció.

A képzés testreszabási lehetőségei

• Ha egy testreszabott képzést szeretne erre a kurzusra, kérjük, forduljon hozzánk, hogy megbeszéljük.

Azok a résztvevők, akik elvégzik ezt az oktató által vezetett, élő képzést Magyarország-ban, gyakorlati, valós ismereteket szereznek az Big Data-ről és a kapcsolódó technológiáról, módszertanról és eszközről.

A résztvevők gyakorlati gyakorlatokon keresztül lehetőséget kapnak arra, hogy ezt a tudást a gyakorlatba is átültessék. A csoportos interakció és az oktatói visszajelzések az óra fontos részét képezik.

A kurzus a Big Data elemi fogalmainak bemutatásával kezdődik, majd a Data Analysis végrehajtásához használt programozási nyelvek és módszertanok felé halad. Végül tárgyaljuk azokat az eszközöket és infrastruktúrát, amelyek Big Data lehetővé teszik a tárolást, az elosztott feldolgozást és a Scalaképességet.

A Greenplum nyílt forráskódú, tömegesan párhuzamos (MPP) adatplatform, amely elemzések és nagyméretű adatkörnyezetekhez lett tervezve.

Ez az oktatóvezetett, élő (online vagy helyszínen) képzés az intermediális szintű és haladó szintű technikai felhasználók számára van szánva, akik meg akarják ismerni a Greenplum belső architektúráját, optimalizált adatmodelleket akarnak létrehozni és elosztott környezetekben magas teljesítményű SQL-t akarnak alkalmazni.

E képzés végén a résztvevők képesek lesznek:

• Megérteni a Greenplum „semmi megosztás” architektúráját és párhuzamosítási modelljét.
• Kérdelemoptimalizált elosztott táblaszerkezeteket és partíciókat tervezni.
• Indexelési stratégiákat, tárolási formátumokat és fizikai tervezőtechnikákat használni.
• EXPLAIN terveket értelmezni és legjobb gyakorlatokat használni a lekérdezések optimalizálására.

A képzés formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlási lehetőség.
• Gyakorlati alkalmazás élő laboratóriumi környezetben.

A képzés testreszabási lehetőségei

• E képzés testreszabott verzióját kérhetik, kérjük, forduljon hozzánk.

A Greenplum egy nyílt forráskódú tömeges párhuzamos adattárgyalási platform, amely a PostgreSQL-alapú, kiterjesztett analitika és nagy méretű adattárházakhoz tervezve.

Ez az oktató által vezetett élő képzés (online vagy helyszínen) olyan középhozzáférhető rendszergazdák számára készült, akik hatékonyan szeretnék telepíteni, konfigurálni és kezelni a Greenplum környezeteket, beleértve a rendszerfrissítések és könyvtárak kezelését.

A képzés végén a résztvevők képesek lesznek:

• Üzembe helyezhető Greenplum csomag telepítésére és konfigurálására.
• Rendszerfrissítések kezelésére és biztonságos patch-ek alkalmazására.
• Greenplum könyvtárak kezelésére analitikai és kiterjesztési célokra.
• Greenplum rendszerek hibaelhárítására és monitorozására.

A képzés formája

• Interaktív előadás és megbeszélés.
• Greenplum kezelése gyakorlati módon egy ellenőrzött laboratóriumi környezetben.
• Csomagfelállításra, frissítési folyamatokra és rendszerkiterjesztésekre összpontosított irányított gyakorlatok.

A képzés testreszabási lehetőségei

• Ha a környezetének vagy adattárgyalási platformjának megfelelő testreszabott képzést kíván ez a kurzushoz, kérjük, lépjen kapcsolatba velünk, hogy elrendezzük.

Ez oktatóvezetett, élő tanfolyam Magyarország (online vagy helyszínen) az olyan haladó szintű adattudósoknak szól, akik adatelőkészítő folyamatokat szeretnének optimalizálni, biztosítani az adatok integritását és olyan robust data lakehouse megoldásokat implementálni, amelyek képesek kezelni a modern nagy adathalmazok komplexitását.

A tanfolyam végére a résztvevők képesek lesznek:

• Mélyreható megértést szerezni Iceberg architekturájáról, beleértve a metadatalapokat és a fájl elrendezését.
• Iceberg optimalizálását konfigurálni különböző környezetekben és több adatfeldolgozó motorral integrálni.
• Nagy méretű Iceberg táblákat kezelni, bonyolult sémaváltozásokat végrehajtani és partíciófejlődést kezelni.
• Készséget szerezni a leküzdéses módszerekhez nagy adathalmazok optimalizálására és a lekérdezési teljesítmény javítására.
• Mechanizmusokat implementálni az adatok konzisztenciájának biztosítására, tranzakciós garantíák kezelésére és elválasztott környezetekben bekövetkező hibák kezelésére.

Ez tanfolyam, amelyet tanár irányítása alatt online vagy helyszínen lehet elvégezni, az kezdő szintű adattudósoknak szánva, akik szeretnék megszerezni az Apache Iceberg hatékony felhasználásához szükséges tudást és készségeket nagy méretű adathalmazok kezeléséhez, adatok integritásának biztosításához és adatok feldolgozásának optimalizálásához.

A tanfolyam végén a résztvevők képesek lesznek:

• Áttekintést nyernének az Apache Iceberg architekturájáról, funkcióiról és előnyeiről.
• Táblaformátumokról, felosztásról, sémafejlődésről és időutazási lehetőségekről tanulnak.
• Az Apache Iceberg telepítését és konfigurálását különböző környezetekben.
• Az Iceberg táblák létrehozását, kezelését és műveletét.
• Megértik az adatmigráció folyamatát más táblaformátumokból Icebergbe.

Ez oktatóvezetett, élő képzés Magyarország (online vagy helyszínen) a középfokú IT-szakembereket célozza meg, akik szeretnék javítani adattérképzést, adatkezelést, felhőszolgáltatást és nagyadattudományok területén történő tudásukat, hogy hatékonyan kezeljék és elemzék a nagyadathalmazokat az adatátviteli folyamatokban az organizációjukban.

A képzés végén a résztvevők képesek lesznek:

• Megértik az adattérképzés alapvető fogalmait és komponenseit.
• Teljes képet nyernek az adatkezelés alapelveiről és azok jelentőségéről a szabályozási környezetekben.
• Bevezetik és kezelik az adatkezelési keretrendszereket, mint például a Dama és a Togaf.
• Felhasználják a felhőplatformokat a hatékony adattárolás, feldolgozás és kezelés céljából.

• Megértetni az Azure Data Lake Storage Gen2 architekturáját és kulcsfontosságú jellemzőit.
• Optimalizálni az adat tárolást és hozzáférést költség és teljesítmény szempontjából.
• Integrálni az Azure Data Lake Storage Gen2-t más Azure szolgáltatásokkal az analitika és adatfeldolgozás céljából.
• Megoldásokat fejleszteni az Azure Data Lake Storage Gen2 API használatával.
• Hibaeldőzés és tárolási stratégiák optimalizálása.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik szeretnék használni és integrálni a Sparkot, Hadoop és Python nagy és összetett adatkészletek feldolgozására, elemzésére és átalakítására.

A képzés végére a résztvevők képesek lesznek:

• Állítsa be a szükséges környezetet a nagy adatfeldolgozás megkezdéséhez a Spark, Hadoop és Python segítségével.
• Ismerje meg a Spark és Hadoop szolgáltatásait, alapvető összetevőit és architektúráját.
• Ismerje meg, hogyan integrálhatja a Sparkot, Hadoop és Python-et a nagy adatfeldolgozáshoz.
• Fedezze fel a Spark ökoszisztéma eszközeit (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka és Flume).
• A Netflix, a YouTube, az Amazon, a Spotify és az Google rendszeréhez hasonló együttműködésen alapuló szűrési ajánlórendszerek létrehozása.
• Használja Apache Mahout-ot a gépi tanulási algoritmusok méretezéséhez.

Big Data és előrehaladott elemző analitika a bonyolult technikák és eszközök alkalmazása nagyméretű, komplex adathalmazok elemzésére, cselekvésre alkalmas információk és stratégiai döntéshozatal céljából.

Ez az oktatóvezetett, élő (online vagy helyszínen) képzés az előrehaladott szintű adatelemző szakembereknek szánva, akik kíváncsiak arra, hogy a legújabb elemző módszereket és nagy adattömeget kezelő technológiákat használják előrejelző, javaslatos és valós idejű elemzésre.

Ezt a képzést követően a résztvevők képesek lesznek:

• Nagyméretű adatok feldolgozó csövek tervezésére és megvalósítására strukturált és nem strukturált adatokhoz.
• Előrehaladott gépi tanulás és mély tanulás technikák alkalmazására hatalmas adathalmazokra.
• Elosztott számítási keretrendszerek használatára valós idejű elemzésre és adatok folyamatos átviteli.
• Nagy adattömeget kezelő elemzéseket integrálni üzleti intelligencia és döntéshozatal rendszereibe.

A kurzus formája

• Interaktív előadás és vita.
• Sok gyakorlati feladat és gyakorlás.
• Eleven-labor környezetben történő gyakorlati megvalósítás.

A kurzus testreszabási lehetőségek

• Ezt a képzést testreszabott formában kérni szeretné, kérjük, lépjen kapcsolatba velünk a megbeszéléshez.

Ez tanfolyam, amelyet tanár vezet (online vagy helyszínen) közelebbről ismerkedik be a közép szintű IT szakembereket az IBM DataStage alapelveiben, mind adminisztratív, mind fejlesztői szempontból. Ez lehetővé teszi számára, hogy hatékonyan használja ezt az eszközt munkakörében. A tanfolyam végére a résztvevők képesek lesznek:

• Megérteni az IBM DataStage alapelveit.
• Hatékonyan telepíteni, konfigurálni és kezelni az IBM DataStage környezeteket.
• Csatlakozni különböző adatokhoz, és hatékonyan kivonni az adatokat adatbázisokból, szövegfájlokból és külső forrásokból.
• Hatékony adatbetöltési technikákat valósítani meg.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) kezdő és középszintű rendszergazdáknak szól, akik szeretnék telepíteni, karbantartani és optimalizálni a Spark-fürtöket.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Apache Spark-t különféle környezetekben.
• Fürterőforrások kezelése és Spark-alkalmazások figyelése.
• Optimalizálja a Spark-fürtök teljesítményét.
• Biztonsági intézkedések végrehajtása és magas rendelkezésre állás biztosítása.
• Hibakeresés és a gyakori Spark-problémák elhárítása.

Azok a résztvevők, akik elvégzik ezt az oktató által vezetett, élő képzést Magyarország-ban, gyakorlati, valós ismereteket szereznek a Big Data-ról és a kapcsolódó technológiáról, módszertanról és eszközről.

A résztvevők gyakorlati gyakorlatokon keresztül lehetőséget kapnak arra, hogy ezt a tudást a gyakorlatba is átültessék. A csoportos interakció és az oktatói visszajelzések az óra fontos részét képezik.

A kurzus a Big Data elemi fogalmainak bemutatásával kezdődik, majd az adatelemzés végrehajtásához használt programozási nyelvek és módszertanok felé halad. Végül megvitatjuk azokat az eszközöket és infrastruktúrát, amelyek lehetővé teszik a Big Data tárolását, az elosztott feldolgozást és a Scalaképességet.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.

Célpontsáv:

A kurz az IT-szakembereket célozza, akik megoldást keresnek nagy adathalmazok tárolására és feldolgozására elosztott rendszerekben.

Előfeltételek:

Mélyreható ismeret Hadoop cluster-adminisztrációban.

A technológiák fejlődése és a növekvő információmennyiség számos iparágban, köztük a kormányzatban is megváltoztatja az üzletvitelt. GoAz állami adatgenerálás és a digitális archiválás aránya növekszik a mobileszközök és alkalmazások, az intelligens érzékelők és eszközök, a felhőalapú számítástechnikai megoldások és a polgároknak szánt portálok gyors növekedése miatt. A digitális információk bővülésével és összetettebbé válásával az információkezelés, feldolgozás, tárolás, biztonság és selejtezés is egyre összetettebbé válik. Az új rögzítési, keresési, felfedezési és elemzési eszközök segítségével a szervezetek betekintést nyerhetnek strukturálatlan adataikból. A kormányzati piac egy fordulóponthoz ért, felismerve, hogy az információ stratégiai eszköz, és a kormányzatnak meg kell védenie, ki kell használnia és elemeznie kell a strukturált és a strukturálatlan információkat is, hogy jobban szolgálja és megfeleljen a küldetés követelményeinek. Miközben a kormányzati vezetők arra törekednek, hogy adatvezérelt szervezeteket fejlesszenek ki, hogy sikeresen teljesítsék küldetésüket, lefektetik az alapot az események, személyek, folyamatok és információk közötti függőségek korrelációjához.

Nagy értékű kormányzati megoldások születnek a legrombolóbb technológiák halmazából:

Mobileszközök és alkalmazások Felhőszolgáltatások Társadalmi üzleti technológiák és hálózatépítés Big Data és elemzés

Az IDC előrejelzése szerint 2020-ra az IT-ipar eléri az 5 billió dollárt, ami körülbelül 1,7 billió dollárral nagyobb a jelenleginél, és az iparág növekedésének 80%-át ezek a 3. platformtechnológiák hajtják majd. Hosszú távon ezek a technológiák kulcsfontosságú eszközök lesznek a megnövekedett digitális információk összetettségének kezelésében. A Big Data az egyik intelligens iparági megoldás, és lehetővé teszi a kormányzat számára, hogy jobb döntéseket hozzon azáltal, hogy a nagy mennyiségű – kapcsolódó és független, strukturált és strukturálatlan – adatelemzés során feltárt minták alapján fellép.

De ezeknek a bravúroknak a megvalósítása sokkal többre van szükség, mint egyszerűen hatalmas mennyiségű adat felhalmozása. „E Big Data-mennyiségek értelmezéséhez olyan élvonalbeli eszközökre és technológiákra van szükség, amelyek képesek elemezni és hasznos ismereteket kinyerni a hatalmas és sokrétű információáramokból” – mondta Tom Kalil és Fen Zhao, a Fehér Ház Tudományos és Technológiai Politikai Hivatalának munkatársa az OSTP Blogon írt bejegyzésében.

A Fehér Ház tett egy lépést afelé, hogy segítsen az ügynökségeknek megtalálni ezeket a technológiákat, amikor 2012-ben létrehozta a Nemzeti Big Data Kutatási és Fejlesztési Kezdeményezést. A kezdeményezés több mint 200 millió dollárt tartalmazott a Big Data robbanásából és az ahhoz szükséges eszközökből. elemezze azt.

A Big Data által jelentett kihívások majdnem olyan ijesztőek, mint amennyire az ígérete biztató. Az adatok hatékony tárolása az egyik ilyen kihívás. Mint mindig, a költségvetések szűkösek, ezért az ügynökségeknek minimálisra kell csökkenteniük a tárhely megabájtonkénti árát, és könnyű hozzáférést kell biztosítaniuk az adatokhoz, hogy a felhasználók akkor kaphassák meg, amikor és ahogyan szükségük van rá. A hatalmas mennyiségű adat biztonsági mentése fokozza a kihívást.

Az adatok hatékony elemzése egy másik nagy kihívás. Sok ügynökség alkalmaz olyan kereskedelmi eszközöket, amelyek lehetővé teszik számukra, hogy átvizsgálják az adatok hegyeit, és felfedezzék azokat a trendeket, amelyek elősegíthetik a hatékonyabb működést. (A MeriTalk legutóbbi tanulmánya szerint a szövetségi informatikai vezetők úgy gondolják, Big Data segíthet az ügynökségeknek több mint 500 milliárd dolláros megtakarításban, miközben teljesíti a küldetés céljait.).

Az egyedi fejlesztésű Big Data eszközök is lehetővé teszik az ügynökségek számára, hogy foglalkozzanak adataik elemzésével. Például az Oak Ridge National Laboratory Computational Data Analytics Group más ügynökségek számára is elérhetővé tette Piranha adatelemző rendszerét. A rendszer segített az orvoskutatóknak olyan kapcsolatot találni, amely figyelmeztetheti az orvosokat az aorta aneurizmáira, mielőtt azok fellépnének. A hétköznapibb feladatokhoz is használják, például az önéletrajzok áttanulmányozására, hogy összekapcsolják a jelölteket a munkaerő-felvételi vezetőkkel.

1. nap - áttekintést nyújt a Big Data lényeges témakörökről magas szinten. A modul egy sorozat szakaszra van osztva, mindegyikhez egy gyakorlati feladat tartozik.

2. nap - kutatja a Big Data környezetekhez kapcsolódó analízis gyakorlatokat és eszközöket. Nem mélyül az implementáció vagy programozási részletekbe, hanem a Big Data megoldások által nyújtott közösen analízis funkciók és jellemzők megértésére koncentrál, így a résztvevők általános megértése biztosítható.

3. nap - áttekintést nyújt a Big Data megoldásplatform-architektúrához kapcsolódó alapvető és lényeges témakörökről. Azokat a Big Data mechanizmusokat mutatja be, amelyek szükségesek egy Big Data megoldásplatform kifejlesztéséhez, valamint a adatfeldolgozó platform összeállításának architektúrai lehetőségeit. Jelenlegi gyakorlatokat is bemutatunk, hogy alapvető ismereteket nyújtsunk egy Big Data megoldásplatform használatáról.

4. nap - épül tovább a 3. napon, olyan előrehaladott témakörök kutatásával, amelyek kapcsolódnak a Big Data megoldásplatform-architektúrához. Megismertetjük és megvitathatjuk a különböző architektúrai rétegeket, amelyek alkotják a Big Data megoldásplatformot, beleértve az adatforrásokat, az adatbevitelt, az adattárolást, az adatfeldolgozást és a biztonságot.

5. nap - különböző gyakorlatokat és problémákat tartalmaz, amelyek tesztelik a delegáltak képességet arra, hogy a 3. és 4. napokon tárgyalt témákhoz kapcsolódó ismereteiket alkalmazzák.

A nagy adatelemzés magában foglalja a nagy mennyiségű, változatos adatkészlet vizsgálatát a korrelációk, rejtett minták és egyéb hasznos betekintések feltárása érdekében.

Az egészségügyi ágazat hatalmas mennyiségű komplex, heterogén orvosi és klinikai adatot tartalmaz. A nagy adatelemzés alkalmazása az egészségügyi adatokra hatalmas potenciállal jár ahhoz, hogy betekintést szerezzen az egészségügyi ellátás javításában. Ezen adatkészletek hatalmassága azonban nagy kihívást jelent az elemzésekben és a klinikai környezetben történő gyakorlati alkalmazásokban.

Ebben az oktató által vezetett, élő (távoli) képzésen a résztvevők megtanulják, hogyan végezzen nagy adatelemzést az egészségben, miközben gyakorlati élő laboratóriumi gyakorlatokat végeznek.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a nagy adatelemző eszközöket, például a Hadoop MapReduce és a Spark
• Megérteni az orvosi adatok jellemzőit
• Nagyméretű technikák alkalmazása az orvosi adatok kezelésére
• Tanulmányozza a nagy adatrendszereket és algoritmusokat az egészségügyi alkalmazások összefüggésében

Közönség

• Fejlesztők
• Adattudósok

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat.

jegyzet

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják azt a gondolkodásmódot, amellyel megközelíthetik Big Data technológiákat, felmérik azok hatását a meglévő folyamatokra és politikákra, és alkalmazzák ezeket a technológiákat a bűncselekmények azonosítása és a bűnmegelőzés céljából. Megvizsgálják a világ bűnüldöző szervezeteitől származó esettanulmányokat, hogy betekintést nyerjenek elfogadási megközelítéseikbe, kihívásaikba és eredményeikbe.

A képzés végére a résztvevők képesek lesznek:

• Kombinálja Big Data technológiát a hagyományos adatgyűjtési folyamatokkal, hogy összeállítson egy történetet a nyomozás során.
• Ipari nagy adattárolási és adatfeldolgozási megoldások megvalósítása adatelemzésre.
• Javaslat készítése a legmegfelelőbb eszközök és eljárások elfogadására a bűnügyi nyomozás adatközpontú megközelítésének lehetővé tételére.

Big Data olyan kifejezés, amely olyan megoldásokra utal, melyek nagy adathalmazok tárolására és feldolgozására szolgálnak. Ezek az Big Data megoldások kezdetben Google által lettek kifejlesztve, és azoknak az evolúciójuk során más hasonló projekteket inspiráltak, melyek közül sok nyílt forrásúként áll rendelkezésre. R egy népszerű programozási nyelv a pénzügyi szektorban.

Ha a hagyományos tárolási technológiák nem kezelik a tárolni kívánt adatmennyiséget, alternatívák vannak. Ez a kurzus megpróbálja irányítani a résztvevőket, hogy milyen lehetőségek állnak rendelkezésre a Big Data tárolására és elemzésére, és mi a saját előnye és hátránya.

Ez a kurzus többnyire a megoldások megvitatására és bemutatására összpontosít, bár a gyakorlati gyakorlatok igény szerint rendelkezésre állnak.

A kurzus a Data Scientist készségkészlet része (Domain: Data and Technology).

Ez az osztálytermi képzés a Big Data-t fogja feltárni. A küldöttek számítógépes példákkal és esettanulmányi gyakorlatokkal rendelkeznek, amelyeket a releváns big data eszközökkel végezhetnek el

Közönség

Ha megpróbálja megérteni az adatokból, amelyekhez hozzáférhet, vagy elemezni kívánja a net strukturált adatokat (például Twitter, Linked in, stb.), Ez a kurzus az Ön számára.

Leginkább a döntéshozóknak és azoknak az embereknek szól, akiknek ki kell választaniuk, hogy milyen adatokat érdemes gyűjteni és mit érdemes elemezni.

Nem a megoldást konfiguráló emberekre irányul.

Szállítási mód

A tanfolyam során a küldöttek többnyire nyílt forráskódú technológiákkal foglalkozó példákat mutatnak be.

A rövid előadásokat előadások és egyszerű gyakorlatok követik a résztvevők

Tartalom és szoftver

Minden használt szoftver frissül minden alkalommal, amikor a kurzust futtatják, így ellenőrizzük a legújabb verziókat.

Ez az adatgyűjtés, -formázás, -feldolgozás és -elemzés folyamatát foglalja magában, hogy elmagyarázza, hogyan automatizálható a döntéshozatali folyamat a gépi tanulással.

A nagy adat olyan adatkészletek, amelyek annyira terjedelmesek és összetettek, hogy a hagyományos adatfeldolgozó alkalmazásszoftverek nem megfelelőek ezek kezelésére. A nagy adat kihívások között szerepel az adatok rögzítése, az adatok tárolása, az adatok elemzése, a keresés, a megosztás, az átvitel, a megjelenítés, a lekérdezés, a frissítés és az adatvédelem.

A kurzus célja:

Apache Hadoop Hadoop a legnépszerűbb keretrendszer adatok Big Data feldolgozására szervercsomagokban. Ezen háromnapos (lehetséges négy napos) kurzusban a résztvevők megismerkedhetnek a Hadoop üzleti előnyeivel és alkalmazási területeivel, valamint annak és környezetének rendszerével. Megtanulják, hogyan kell tervezni és növelni a csomagokat, telepíteni, karbantartani, figyelni, hibáztatni és optimalizálni a Hadoop-t. Gyakorolni fogják a csomagokban lévő adatok tömeges betöltését, megismerkednek a különböző Hadoop disztribúciókkal, valamint gyakorolni fognak a Hadoop környezeti eszközök telepítését és kezelését. A kurzus Kerberos segítségével végzett csomag biztonságosításával fejeződik be.

"…A anyagok rendkívül jól készültek és alaposan takarták a témát. A gyakorlatok nagyon hasznosak és jól szervezettek voltak."— Andrew Nguyen, Főintegraciós DW mérnök, Microsoft Online Advertising

Célközönség

Hadoop adminisztrátorok

Formátum

Előadások és gyakorlati laborok, mintegy 60% előadás, 40% labor.

Apache Hadoop a legnépszerűbb keretrendszer adatfeldolgozásra szervercsoportokban. Ez a kurzus bemutatja a fejlesztőknek a különböző komponenseket (HDFS, MapReduce, Pig, Hive és HBase) a Hadoop ökológia részéről.

Apache Hadoop az egyik legnépszerűbb keretrendszer a szervercsoportokon történő feldolgozáshoz. Ez a kurzus a HDFS-ben történő adatok kezelésébe, a Pig előrehaladott alkalmazásába, Hive-be, és HBase-be merül bele. Ezek az előrehaladott programozási technikák a tapasztalt Hadoop fejlesztők számára hasznosak lehetnek.

Célközönség: fejlesztők

Időtartam: három nap

Formátum: előadások (50%) és gyakorlati laborok (50%).

Célpontsoportozat:

Ez a kurzus azt célozza, hogy a big data/Hadoop technológiát megkönnyítse és mutassa meg, hogy nem nehéz megérteni.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a rendszergazdáknak szól, akik szeretnék megtanulni, hogyan állíthatnak be, telepíthetnek és kezelhetnek Hadoop fürtöket szervezetükön belül.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Hadoop-ot.
• Ismerje meg a Hadoop ökoszisztéma négy fő összetevőjét: HDFS, MapReduce, YARN és Hadoop Common.
• A Hadoop Distributed File System (HDFS) segítségével a fürt több száz vagy több ezer csomópontra méretezhető.
• Állítsa be a HDFS-t, hogy tárolómotorként működjön a helyszíni Spark-telepítésekhez.
• Állítsa be a Sparkot az olyan alternatív tárolási megoldások eléréséhez, mint az Amazon S3 és a NoSQL adatbázisrendszerek, például a Redis, az Elasticsearch, a Couchbase, az Aerospike stb.
• Adminisztratív feladatok végrehajtása, például egy Apache Hadoop-fürt létrehozása, kezelése, figyelése és biztonsága.

Ez a kurzus bemutatja a HBase-t, a Hadoop tetején lévő SQL tárolót. A kurzus olyan fejlesztők számára készült, akik HBase-t használnak alkalmazások fejlesztésére, és a rendszergazdákat, akik a HBase klasztereket kezeli.

A HBase architektúrán és az adatmodellezésen és a HBase alkalmazásfejlesztésen keresztül fejlesztőt fogunk végezni. Megvitatja a MapReduce-t a HBase-val, és néhány, a teljesítmény-optimalizálással kapcsolatos adminisztrációs témát. A tanfolyam nagyon praktikus, sok laboratóriumi gyakorlattal.

Időtartam : 3 nap

Közönség : fejlesztők és adminisztrátorok

Ez oktatóvezetett, élő képzés Magyarország (helyszíni vagy távoli) keretében a résztvevők megtanulják, hogyan állítsanak be és integrálják különböző Stream Processing keretrendszereket a létező nagyadatos tárolási rendszerekkel és kapcsolódó szoftveralkalmazásokkal és mikroszolgáltatásokkal.

E képzés végén a résztvevők képesek lesznek:

• Előállítani és konfigurálni különböző Stream Processing keretrendszereket, például Spark Streaming és Kafka Streaming.
• Megértenek és kiválasztanak a megfelelő keretrendet a feladathoz.
• Adatok folyamatos, párhuzamos és rekordonkénti feldolgozását végrehajtják.
• Stream Processing megoldásokat integrálnak a létező adatbázisokkal, adatraktárakkal, adat-tavakkal stb.
• A megfelelő stream processing könyvtárat integrálják az üzleti alkalmazásokkal és mikroszolgáltatásokkal.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a műszaki szakembereknek szól, akik szeretnék megtanulni, hogyan valósítsák meg a gépi tanulási stratégiát, miközben maximalizálják a big data felhasználását.

A képzés végére a résztvevők:

• Ismerje meg a gépi tanulás fejlődését és trendjeit.
• Ismerje meg, hogyan használják a gépi tanulást a különböző iparágakban.
• Ismerkedjen meg a gépi tanulás szervezeten belüli megvalósításához rendelkezésre álló eszközökkel, készségekkel és szolgáltatásokkal.
• Ismerje meg, hogyan használható a gépi tanulás az adatbányászat és -elemzés javítására.
• Ismerje meg, mi az a középső adatátviteli háttérrendszer, és hogyan használják azt a vállalkozások.
• Ismerje meg a big data és az intelligens alkalmazások szerepét az iparágakban.

Az Apache NiFi egy nyílt forráskódú, folyamat-alapú adatintegrációs és eseményfeldolgozási platform. Automatikus, valós idejű adatátvitelt, átalakítást és rendszerközvetítést tesz lehetővé különböző rendszerek között, web-alapú UI-vel és finom szemcsekontrollal.

Ez az oktatóvezetett, élő képzés (helyszínen vagy távolról) az középszintű adminisztrátorok és mérnökök számára szánva, akik az Apache NiFi adatfolyamokat szeretnék telepíteni, kezelni, biztonságosítani és optimalizálni gyártási környezetekben.

A képzés végén a résztvevők képesek lesznek:

• Apache NiFi csomagokat telepíteni, konfigurálni és karbantartani.
• Adatfolyamokat tervezni és kezelni különböző források és célok között.
• Folyamat-automatizálást, átirányítást és átalakítási logikát valósítani.
• Teljesítményt optimalizálni, műveleteket monitorozni és problémákat kezelni.

A képzés formája

• Interaktív előadás valós világbeli architektúra vitával.
• Pratikus laborok: folyamok építése, telepítése és kezelése.
• Szcenárium alapú gyakorlatok élő laborok környezetben.

A képzés testreszabási lehetőségei

• A képzés testreszabására kérjük, forduljon hozzánk, hogy rendezzük el.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják az áramlásalapú programozás alapjait, miközben számos demó-bővítményt, komponenst és processzort fejlesztenek a Apache NiFi segítségével.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit.
• Bővítmények fejlesztése NiFi és harmadik féltől származó API-k használatával.
• Egyedi fejlesztésű saját Apache Nifi processzort.
• Valós idejű adatok feldolgozása és feldolgozása eltérő és nem megszokott fájlformátumokból és adatforrásokból.

Ez oktatóvezetett, élő képzés Magyarország (online vagy helyszínen) azoknak a data scientist-nek szánva, akik az SMACK stacket szeretnék használni nagy adathalmazok feldolgozására szolgáló adatfeldolgozó platformok létrehozásához.

E képzés végére a résztvevők képesek lesznek:

• Nagy adathalmazok feldolgozásához szolgáló adatcsővonal architektúrát valósítani meg.
• Apache Mesos és Docker segítségével cluster infrasztruktúrát fejleszteni.
• Adatokat Spark és Scala segítségével elemzeni.
• Apache Cassandra segítségével strukturálatlan adatokat kezelni.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a mérnököknek szól, akik Apache Spark rendszert szeretnének felállítani és telepíteni nagyon nagy mennyiségű adat feldolgozására.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Sparkot.
• Nagyon nagy adatkészletek gyors feldolgozása és elemzése.
• Ismerje meg az Apache Spark és az Hadoop MapReduce közötti különbséget, és hogy mikor melyiket használja.
• Integrálja az Apache Sparkot más gépi tanulási eszközökkel.

Az Apache Spark tanulási görbe lassan növekszik a kezdetben, sok erőt igényel az első eredmény eléréséhez. Ez a kurzus célja, hogy átugorja az első nehéz részt. A kurzus elvégzése után a résztvevők meg fogják érteni az Apache Spark alapjait, tisztán meg fogják különböztetni az RDD-t a DataFrame-től, meg fogják tanulni a Python és Scala API-t, meg fogják érteni az executorsokat és a feladatokat stb. A legjobb gyakorlatokat követve, ezen a kurzuson erősen hangsúlyozzuk a felhőbe való telepítést, a Databricks-t és az AWS-t. A tanulók meg fogják érteni az AWS EMR és AWS Glue különbségeit, az AWS legújabb Spark szolgáltatását.

AUDIENCE:

Adatmérnök, DevOps, Adattudós

CÉLKITŰZÉS:

Ez a tanfolyam bemutatja az Apache Spark . A hallgatók megtanulják, hogyan illeszkedik a Spark a Big Data ökoszisztémájához, és hogyan lehet a Sparkot használni az adatok elemzéséhez. A tanfolyam kiterjed a Spark shellre az interaktív adatelemzéshez, a Spark belső részei, a Spark API-k, a Spark SQL , a Spark streaming, valamint a gépi tanulás és a graphX számára.

ÖSSZETÉTEL:

Fejlesztők / adatelemzők

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adattudósoknak és fejlesztőknek szól, akik a Apache Spark-ra épülő Spark NLP-et szeretnék használni természetes nyelvi szövegfeldolgozás fejlesztésére, megvalósítására és méretezésére. modellek és csővezetékek.

A képzés végére a résztvevők képesek lesznek:

• Állítsa be a szükséges fejlesztői környezetet az NLP-folyamatok építésének megkezdéséhez az Spark NLP segítségével.
• Ismerje meg a Spark NLP használatának jellemzőit, architektúráját és előnyeit.
• A szövegfeldolgozás megvalósításához használja az Spark NLP-ben elérhető előre betanított modelleket.
• Tanulja meg, hogyan készíthet, taníthat és méretezhet Spark NLP modelleket gyártási szintű projektekhez.
• Alkalmazzon osztályozást, következtetést és hangulatelemzést a valós használati esetekre (klinikai adatok, vásárlói viselkedési betekintések stb.).

A Spark SQL az Apache Spark modulja strukturált és nem strukturált adatok kezelésére. A Spark SQL információkat nyújt az adatok felépítéséről és a végrehajtott számításról. Ez az információ felhasználható optimalizáláshoz. A Spark SQL két általános használata:
- SQL lekérdezések végrehajtása.
- a meglévő Hive telepítés adatainak olvasása.

Ebben az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan kell különféle típusú adatkészleteket elemezni a Spark SQL .

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Spark SQL .
• Végezzen adatelemzést a Spark SQL .
• Lekérdezés adatkészletek különböző formátumokban.
• Vizualizálja az adatokat és a lekérdezés eredményeit.

A tantárgy formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő laboratóriumi környezetben.

Tanfolyam testreszabási lehetőségek

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a műszaki személyeknek szól, akik szeretnék telepíteni az Talend Open Studio for Big Data alkalmazást, hogy leegyszerűsítsék a Big Data olvasásának és feldolgozásának folyamatát.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Talend Open Studio for Big Data alkalmazást.
• Csatlakozzon olyan Big Data rendszerekhez, mint a Cloudera, a HortonWorks, a MapR, az Amazon EMR és az Apache.
• Ismerje meg és állítsa be az Open Studio big data összetevőit és csatlakozóit.
• Konfigurálja a paramétereket a MapReduce kód automatikus generálásához.
• Használja az Open Studio fogd és vidd felületét a Hadoop-feladatok futtatásához.
• Nagy adatfolyamok prototípusa.
• Automatizálja a big data integrációs projekteket.