Online Big Data Training in Magyarország

Ez az oktatóvezetett, élő kiszolgált (online vagy helyszínen) képzés a közepes szintű adattudósok és mérnökök számára készült, akik nagy adatok feldolgozására és elemzésére szeretnék használni a Google Colab-ot és a Apache Spark-et.

Ez a képzés végére a résztvevők képesek lesznek:

• Nagy adatkörnyezet beállítása Google Colab-mal és Spark-kal.
• Nagy adathalmazok hatékony feldolgozása és elemzése Apache Spark-vel.
• Nagy adatok vizualizálása együttműködő környezetben.
• Apache Spark integrálása felhőalapú eszközökkel.

Stratio egy adatokra összpontosító platform, amely nagy adatok, mesterséges intelligencia (AI) és kormányzati funkciókat integrál egy egyetlen megoldásba. Az Rocket és Intelligence modullai lehetővé teszik a gyors adatfelfedezést, átalakítást és előrehaladott analitikai feladatok végrehajtását vállalati környezetekben.

Ez az oktatóvezetett élő tanfolyam (online vagy helyszínen) középszerű szintű adatszakembereknek szól, akik hatékonyan szeretnék használni az Stratio Rocket és Intelligence modullait PySpark-al, a ciklusok, felhasználódefiniált függvények és előrehaladott adatlogika hangsúlyozásával.

E tanfolyam végére a résztvevők képesek lesznek:

• Navigálni és dolgozni az Stratio platformon az Rocket és Intelligence modullal.
• Alkalmazni PySpark-t az adatbefogadás, átalakítás és elemzés kontextusában.
• Ciklusokat és feltételes logikát használni az adatfolyamok és a jellemzők generálásának ellenőrzéséhez.
• Létrehozni és kezelni felhasználódefiniált függvényeket (UDF) ismételten felhasználható adatműveletekhez PySpark-ban.

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sokat gyakorolunk és gyakorolunk.
• Kézbesített implementáció élő laboratóriumi környezetben.

A tanfolyam testreszabási lehetőségei

• Egy testreszabott tanfolyam kéréséhez kérjük, lépjen kapcsolatba velünk.

A data warehouse-k az a gyakorlat, amely központosított adatközegeket tervez, épít és működtet, amelyek támogatják az elemzést, jelentéseket és döntéshozást.

Ez az oktatóvezetett, élő (online vagy helyszíni) képzés a középszerű szintű adatszakembereket célozza, akik kíváncsiak az adatok dimenzionális modellzésére, robust ETL folyamatok építésére és elemzői munkafolyamatok optimalizálására.

Az edzést követően a résztvevők képesek lesznek:

• A data warehouse alapvető koncepciókat és architektúrákat magyarázni.
• Dimenzionális modelleket tervezni és választani a csillag- és hópehelysémák között.
• Biztonságosan ETL és ELT folyamatokat építeni és koordinálni.
• ELegyenlő OLTP és OLAP munkafolyamatakat megkülönböztetni és elemzésre optimalizálni.

A kurzus formátuma

• Interaktív előadás és megbeszélés.
• Sok gyakorlat és gyakorlás.
• Hands-on implementáció élő laboratóriumi környezetben.

A kurzus testreszabási lehetőségek

• A kurzus testreszabott képzését kérjük, vegye fel velünk a kapcsolatot a megszervezéshez.

Azok a résztvevők, akik elvégzik ezt az oktató által vezetett, élő képzést Magyarország-ban, gyakorlati, valós ismereteket szereznek az Big Data-ről és a kapcsolódó technológiáról, módszertanról és eszközről.

A résztvevők gyakorlati gyakorlatokon keresztül lehetőséget kapnak arra, hogy ezt a tudást a gyakorlatba is átültessék. A csoportos interakció és az oktatói visszajelzések az óra fontos részét képezik.

A kurzus a Big Data elemi fogalmainak bemutatásával kezdődik, majd a Data Analysis végrehajtásához használt programozási nyelvek és módszertanok felé halad. Végül tárgyaljuk azokat az eszközöket és infrastruktúrát, amelyek Big Data lehetővé teszik a tárolást, az elosztott feldolgozást és a Scalaképességet.

Greenplum egy nyílt forráskódú, masszív párhuzamos feldolgozású (MPP) adattár, amelyet analitikai és nagy méretű adatok kezelésére terveztek.

Ez az oktatóvezetett, élő (online vagy helyszíni) képzés célja, hogy középfokú és előkelő technikai felhasználók megismerjék a Greenplum belső architektúráját, optimalizált adatmodelleket építsenek és magas teljesítményt érjenek el elosztott környezetekben.

A képzés végén a résztvevők képesek lesznek:

• Megérteni a Greenplum osztatlan architektúráját és párhuzamosítási modelljét.
• Elosztott táblastruktúrákat és lekérdezések optimalizálására szánt partíciókat tervezni.
• Indexelési stratégiákat, tárolási formátumokat és fizikai tervezési technikákat használni.
• EXPLAIN tervrajzokat értelmezni és a legjobb gyakorlatokat alkalmazni a lekérdezések optimalizálására.

A kurzus formátuma

• Interaktív előadás és megbeszélés.
• Sok gyakorlati feladat és gyakorlás.
• Eleven labor környezetben történő gyakorlati implementáció.

A kurzus testreszabási lehetőségek

• A kurzus testreszabott verziójának kéréséhez kérjük, lépjen kapcsolatba velünk a szervezés érdekében.

Greenplum egy nyílt forráskódú tömeges párhuzamos adattár, amely PostgreSQL alapján készült, és amely előrehaladott analitikai feladatokhoz és nagy méretű adattárházak kezeléséhez szánva.

Ez az oktatóvezetett, élő képzés (online vagy helyszíni) az intermediális szintű adminisztrátoroknak szánva, akik hatékonyan szeretnének telepíteni, konfigurálni és kezelni a Greenplum környezeteket, beleértve a rendszerfrissítések és könyvtárak kezelését.

A képzés végén a résztvevők képesek lesznek:

• Telepíteni és konfigurálni egy termékiesítési kész Greenplum csomópontot.
• Biztonságosan kezelni a rendszerfrissítéseket és patch-eket alkalmazni.
• Kezelni a Greenplum könyvtárakat az analitika és kiterjesztések számára.
• Hibáikat diagnosztizálni és a Greenplum rendszereket monitorozni.

A képzés formája

• Interaktív előadás és viták.
• Greenplum kezelése kontrollált laboratóriumi környezetben.
• Csomópont beállítása, frissítési folyamatokra és rendszerkiterjesztésekre fókuszált vezérelt gyakorlatok.

A képzés testreszabási lehetőségei

• Egy, az Ön környezetéhez vagy adattárhoz igazított képzés kéréséhez, kérjük, lépjen kapcsolatba velünk a megegyezés kidolgozása érdekében.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) haladó szintű adatszakértőket céloz meg, akik szeretnék optimalizálni az adatfeldolgozási munkafolyamatokat, biztosítani szeretnék az adatok integritását, és olyan robusztus Data Lakehouse-megoldásokat valósítanak meg, amelyek képesek kezelni a modern nagyvállalatok összetettségeit. adatalkalmazások.

A képzés végére a résztvevők képesek lesznek:

• Mélyreható ismereteket szerezhet az Iceberg architektúrájáról, beleértve a metaadatkezelést és a fájlelrendezést.
• Konfigurálja az Iceberget az optimális teljesítmény érdekében különböző környezetekben, és integrálja több adatfeldolgozó motorral.
• Nagyméretű Iceberg táblák kezelése, összetett sémamódosítások végrehajtása és partíciófejlődés kezelése.
• Mester technikák a lekérdezési teljesítmény és az adatolvasás hatékonyságának optimalizálására nagy adatkészletek esetén.
• Mechanizmusok megvalósítása az adatok konzisztenciájának biztosítására, a tranzakciós garanciák kezelésére és az elosztott környezetekben előforduló hibák kezelésére.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azon kezdő szintű adatszakértőknek szól, akik szeretnék megszerezni az Apache Iceberg hatékony felhasználásához szükséges ismereteket és készségeket a nagyméretű adatkészletek kezelésére, az adatok integritásának biztosítására, valamint az adatfeldolgozási munkafolyamatok optimalizálása.

A képzés végére a résztvevők képesek lesznek:

• Alaposan ismerje meg az Apache Iceberg architektúráját, szolgáltatásait és előnyeit.
• Ismerje meg a táblázatformátumokat, a particionálást, a séma evolúcióját és az időutazási lehetőségeket.
• Telepítse és konfigurálja az Apache Iceberget különböző környezetekben.
• Iceberg táblák létrehozása, kezelése és manipulálása.
• Ismerje meg az adatok más táblázatformátumokból az Icebergbe történő migrálásának folyamatát.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) középszintű informatikai szakembereknek szól, akik szeretnék fejleszteni tudásukat az adatarchitektúra, az irányítás, a felhőalapú számítástechnika és a big data technológiák terén a nagy adatkészletek hatékony kezelése és elemzése érdekében. szervezetükön belüli adatmigrációhoz.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a különböző adatarchitektúrák alapfogalmait és összetevőit.
• Szerezzen átfogó ismereteket az adatkezelési elvekről és azok fontosságáról a szabályozási környezetben.
• Olyan adatkezelési keretrendszerek megvalósítása és kezelése, mint a Dama és a Togaf.
• Használja ki a felhőplatformokat a hatékony adattárolás, -feldolgozás és -kezelés érdekében.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) középszintű adatmérnököknek szól, akik szeretnék megtanulni, hogyan használják a Azure Data Lake Storage Gen2-t hatékony adatelemzési megoldásokhoz.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a Azure Data Lake Storage Gen2 architektúráját és főbb jellemzőit.
• Optimalizálja az adattárolást és a hozzáférést a költségek és a teljesítmény érdekében.
• Integrálja a Azure Data Lake Storage Gen2-t más Azure szolgáltatásokkal elemzési és adatfeldolgozási célokra.
• Megoldások fejlesztése a Azure Data Lake Storage Gen2 API használatával.
• A gyakori problémák elhárítása és a tárolási stratégiák optimalizálása.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik szeretnék használni és integrálni a Sparkot, Hadoop és Python nagy és összetett adatkészletek feldolgozására, elemzésére és átalakítására.

A képzés végére a résztvevők képesek lesznek:

• Állítsa be a szükséges környezetet a nagy adatfeldolgozás megkezdéséhez a Spark, Hadoop és Python segítségével.
• Ismerje meg a Spark és Hadoop szolgáltatásait, alapvető összetevőit és architektúráját.
• Ismerje meg, hogyan integrálhatja a Sparkot, Hadoop és Python-et a nagy adatfeldolgozáshoz.
• Fedezze fel a Spark ökoszisztéma eszközeit (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka és Flume).
• A Netflix, a YouTube, az Amazon, a Spotify és az Google rendszeréhez hasonló együttműködésen alapuló szűrési ajánlórendszerek létrehozása.
• Használja Apache Mahout-ot a gépi tanulási algoritmusok méretezéséhez.

Big Data és előrehaladott elemző analitika a bonyolult technikák és eszközök alkalmazása nagyméretű, komplex adathalmazok elemzésére, cselekvésre alkalmas információk és stratégiai döntéshozatal céljából.

Ez az oktatóvezetett, élő (online vagy helyszínen) képzés az előrehaladott szintű adatelemző szakembereknek szánva, akik kíváncsiak arra, hogy a legújabb elemző módszereket és nagy adattömeget kezelő technológiákat használják előrejelző, javaslatos és valós idejű elemzésre.

Ezt a képzést követően a résztvevők képesek lesznek:

• Nagyméretű adatok feldolgozó csövek tervezésére és megvalósítására strukturált és nem strukturált adatokhoz.
• Előrehaladott gépi tanulás és mély tanulás technikák alkalmazására hatalmas adathalmazokra.
• Elosztott számítási keretrendszerek használatára valós idejű elemzésre és adatok folyamatos átviteli.
• Nagy adattömeget kezelő elemzéseket integrálni üzleti intelligencia és döntéshozatal rendszereibe.

A kurzus formája

• Interaktív előadás és vita.
• Sok gyakorlati feladat és gyakorlás.
• Eleven-labor környezetben történő gyakorlati megvalósítás.

A kurzus testreszabási lehetőségek

• Ezt a képzést testreszabott formában kérni szeretné, kérjük, lépjen kapcsolatba velünk a megbeszéléshez.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a középszintű informatikai szakembereknek szól, akik szeretnének átfogó ismereteket szerezni az IBM DataStage-ről mind adminisztratív, mind fejlesztési szempontból, lehetővé téve számukra ennek kezelését és felhasználását. hatékony eszközt a saját munkahelyükön.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a DataStage alapfogalmait.
• Ismerje meg a DataStage környezetek hatékony telepítését, konfigurálását és kezelését.
• Csatlakozzon különféle adatforrásokhoz, és hatékonyan nyerje ki az adatokat adatbázisokból, egyszerű fájlokból és külső forrásokból.
• Hatékony adatbetöltési technikák alkalmazása.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) kezdő és középszintű rendszergazdáknak szól, akik szeretnék telepíteni, karbantartani és optimalizálni a Spark-fürtöket.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Apache Spark-t különféle környezetekben.
• Fürterőforrások kezelése és Spark-alkalmazások figyelése.
• Optimalizálja a Spark-fürtök teljesítményét.
• Biztonsági intézkedések végrehajtása és magas rendelkezésre állás biztosítása.
• Hibakeresés és a gyakori Spark-problémák elhárítása.

Azok a résztvevők, akik elvégzik ezt az oktató által vezetett, élő képzést Magyarország-ban, gyakorlati, valós ismereteket szereznek a Big Data-ról és a kapcsolódó technológiáról, módszertanról és eszközről.

A résztvevők gyakorlati gyakorlatokon keresztül lehetőséget kapnak arra, hogy ezt a tudást a gyakorlatba is átültessék. A csoportos interakció és az oktatói visszajelzések az óra fontos részét képezik.

A kurzus a Big Data elemi fogalmainak bemutatásával kezdődik, majd az adatelemzés végrehajtásához használt programozási nyelvek és módszertanok felé halad. Végül megvitatjuk azokat az eszközöket és infrastruktúrát, amelyek lehetővé teszik a Big Data tárolását, az elosztott feldolgozást és a Scalaképességet.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.

Célpontsáv:

A kurz az IT-szakembereket célozza, akik megoldást keresnek nagy adathalmazok tárolására és feldolgozására elosztott rendszerekben.

Előfeltételek:

Mélyreható ismeret Hadoop cluster-adminisztrációban.

A technológiák fejlődése és a növekvő információmennyiség számos iparágban, köztük a kormányzatban is megváltoztatja az üzletvitelt. GoAz állami adatgenerálás és a digitális archiválás aránya növekszik a mobileszközök és alkalmazások, az intelligens érzékelők és eszközök, a felhőalapú számítástechnikai megoldások és a polgároknak szánt portálok gyors növekedése miatt. A digitális információk bővülésével és összetettebbé válásával az információkezelés, feldolgozás, tárolás, biztonság és selejtezés is egyre összetettebbé válik. Az új rögzítési, keresési, felfedezési és elemzési eszközök segítségével a szervezetek betekintést nyerhetnek strukturálatlan adataikból. A kormányzati piac egy fordulóponthoz ért, felismerve, hogy az információ stratégiai eszköz, és a kormányzatnak meg kell védenie, ki kell használnia és elemeznie kell a strukturált és a strukturálatlan információkat is, hogy jobban szolgálja és megfeleljen a küldetés követelményeinek. Miközben a kormányzati vezetők arra törekednek, hogy adatvezérelt szervezeteket fejlesszenek ki, hogy sikeresen teljesítsék küldetésüket, lefektetik az alapot az események, személyek, folyamatok és információk közötti függőségek korrelációjához.

Nagy értékű kormányzati megoldások születnek a legrombolóbb technológiák halmazából:

Mobileszközök és alkalmazások Felhőszolgáltatások Társadalmi üzleti technológiák és hálózatépítés Big Data és elemzés

Az IDC előrejelzése szerint 2020-ra az IT-ipar eléri az 5 billió dollárt, ami körülbelül 1,7 billió dollárral nagyobb a jelenleginél, és az iparág növekedésének 80%-át ezek a 3. platformtechnológiák hajtják majd. Hosszú távon ezek a technológiák kulcsfontosságú eszközök lesznek a megnövekedett digitális információk összetettségének kezelésében. A Big Data az egyik intelligens iparági megoldás, és lehetővé teszi a kormányzat számára, hogy jobb döntéseket hozzon azáltal, hogy a nagy mennyiségű – kapcsolódó és független, strukturált és strukturálatlan – adatelemzés során feltárt minták alapján fellép.

De ezeknek a bravúroknak a megvalósítása sokkal többre van szükség, mint egyszerűen hatalmas mennyiségű adat felhalmozása. „E Big Data-mennyiségek értelmezéséhez olyan élvonalbeli eszközökre és technológiákra van szükség, amelyek képesek elemezni és hasznos ismereteket kinyerni a hatalmas és sokrétű információáramokból” – mondta Tom Kalil és Fen Zhao, a Fehér Ház Tudományos és Technológiai Politikai Hivatalának munkatársa az OSTP Blogon írt bejegyzésében.

A Fehér Ház tett egy lépést afelé, hogy segítsen az ügynökségeknek megtalálni ezeket a technológiákat, amikor 2012-ben létrehozta a Nemzeti Big Data Kutatási és Fejlesztési Kezdeményezést. A kezdeményezés több mint 200 millió dollárt tartalmazott a Big Data robbanásából és az ahhoz szükséges eszközökből. elemezze azt.

A Big Data által jelentett kihívások majdnem olyan ijesztőek, mint amennyire az ígérete biztató. Az adatok hatékony tárolása az egyik ilyen kihívás. Mint mindig, a költségvetések szűkösek, ezért az ügynökségeknek minimálisra kell csökkenteniük a tárhely megabájtonkénti árát, és könnyű hozzáférést kell biztosítaniuk az adatokhoz, hogy a felhasználók akkor kaphassák meg, amikor és ahogyan szükségük van rá. A hatalmas mennyiségű adat biztonsági mentése fokozza a kihívást.

Az adatok hatékony elemzése egy másik nagy kihívás. Sok ügynökség alkalmaz olyan kereskedelmi eszközöket, amelyek lehetővé teszik számukra, hogy átvizsgálják az adatok hegyeit, és felfedezzék azokat a trendeket, amelyek elősegíthetik a hatékonyabb működést. (A MeriTalk legutóbbi tanulmánya szerint a szövetségi informatikai vezetők úgy gondolják, Big Data segíthet az ügynökségeknek több mint 500 milliárd dolláros megtakarításban, miközben teljesíti a küldetés céljait.).

Az egyedi fejlesztésű Big Data eszközök is lehetővé teszik az ügynökségek számára, hogy foglalkozzanak adataik elemzésével. Például az Oak Ridge National Laboratory Computational Data Analytics Group más ügynökségek számára is elérhetővé tette Piranha adatelemző rendszerét. A rendszer segített az orvoskutatóknak olyan kapcsolatot találni, amely figyelmeztetheti az orvosokat az aorta aneurizmáira, mielőtt azok fellépnének. A hétköznapibb feladatokhoz is használják, például az önéletrajzok áttanulmányozására, hogy összekapcsolják a jelölteket a munkaerő-felvételi vezetőkkel.

1. nap - magas szintű áttekintést nyújt az alapvető Big Data területéről. A modul szekciók sorozatára oszlik, amelyek mindegyikét gyakorlati gyakorlat kísérik.

2. nap - a Big Data környezetek elemzési gyakorlataival és eszközeivel kapcsolatos témaköröket vizsgálja. Nem kerül be a megvalósításba vagy programozási részletekbe, hanem a fogalom szintjén tartja a lefedettséget, és olyan témákra összpontosít, amelyek lehetővé teszik a résztvevők számára a Big Data megoldások által kínált közös elemzési funkciók és funkciók átfogó megértését.

3. nap - áttekintést ad a Big Data megoldás platform architektúrájához kapcsolódó alapvető és alapvető témakörökről. Magában foglalja a Big Data megoldások platformjának és az adatfeldolgozó platform összeszereléséhez szükséges architekturális lehetőségek fejlesztéséhez szükséges Big Data mechanizmusokat. Gyakori forgatókönyvek is bemutatásra kerülnek, hogy alapvető ismereteket kapjanak arról, hogyan használják általában a Big Data megoldást.

4. nap - a 3. napra építve a Big Data megoldás platform architektúrájához kapcsolódó fejlett témák feltárásával. Különösen a Big Data megoldás platformját alkotó különböző építészeti rétegeket ismertetik és tárgyalják, beleértve az adatforrásokat, az adatok bejutását, az adatok tárolását, az adatfeldolgozást és a biztonságot.

Az 5. nap számos olyan gyakorlattal és problémával foglalkozik, amelyek célja, hogy teszteljék a küldöttek azon képességét, hogy a 3. és 4. napra vonatkozó témaköröket tudják alkalmazni.

A nagy adatelemzés magában foglalja a nagy mennyiségű, változatos adatkészlet vizsgálatát a korrelációk, rejtett minták és egyéb hasznos betekintések feltárása érdekében.

Az egészségügyi ágazat hatalmas mennyiségű komplex, heterogén orvosi és klinikai adatot tartalmaz. A nagy adatelemzés alkalmazása az egészségügyi adatokra hatalmas potenciállal jár ahhoz, hogy betekintést szerezzen az egészségügyi ellátás javításában. Ezen adatkészletek hatalmassága azonban nagy kihívást jelent az elemzésekben és a klinikai környezetben történő gyakorlati alkalmazásokban.

Ebben az oktató által vezetett, élő (távoli) képzésen a résztvevők megtanulják, hogyan végezzen nagy adatelemzést az egészségben, miközben gyakorlati élő laboratóriumi gyakorlatokat végeznek.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a nagy adatelemző eszközöket, például a Hadoop MapReduce és a Spark
• Megérteni az orvosi adatok jellemzőit
• Nagyméretű technikák alkalmazása az orvosi adatok kezelésére
• Tanulmányozza a nagy adatrendszereket és algoritmusokat az egészségügyi alkalmazások összefüggésében

Közönség

• Fejlesztők
• Adattudósok

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat.

jegyzet

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják azt a gondolkodásmódot, amellyel megközelíthetik Big Data technológiákat, felmérik azok hatását a meglévő folyamatokra és politikákra, és alkalmazzák ezeket a technológiákat a bűncselekmények azonosítása és a bűnmegelőzés céljából. Megvizsgálják a világ bűnüldöző szervezeteitől származó esettanulmányokat, hogy betekintést nyerjenek elfogadási megközelítéseikbe, kihívásaikba és eredményeikbe.

A képzés végére a résztvevők képesek lesznek:

• Kombinálja Big Data technológiát a hagyományos adatgyűjtési folyamatokkal, hogy összeállítson egy történetet a nyomozás során.
• Ipari nagy adattárolási és adatfeldolgozási megoldások megvalósítása adatelemzésre.
• Javaslat készítése a legmegfelelőbb eszközök és eljárások elfogadására a bűnügyi nyomozás adatközpontú megközelítésének lehetővé tételére.

Big Data olyan kifejezés, amely nagy adathalmazok tárolására és feldolgozására szánt megoldásokra vonatkozik. A Go ogle által kifejlesztett Big Data megoldások más hasonló projekteket fejlesztettek ki és inspiráltak, amelyek közül sok nyílt forráskódú. Az R egy népszerű programozási nyelv a pénzügyi ágazatban.

Ha a hagyományos tárolási technológiák nem kezelik a tárolni kívánt adatmennyiséget, alternatívák vannak. Ez a kurzus megpróbálja irányítani a résztvevőket, hogy milyen lehetőségek állnak rendelkezésre a Big Data tárolására és elemzésére, és mi a saját előnye és hátránya.

Ez a kurzus többnyire a megoldások megvitatására és bemutatására összpontosít, bár a gyakorlati gyakorlatok igény szerint rendelkezésre állnak.

A kurzus a Data Scientist készségkészlet része (Domain: Data and Technology).

Ez az osztálytermi képzés a Big Data-t fogja feltárni. A küldöttek számítógépes példákkal és esettanulmányi gyakorlatokkal rendelkeznek, amelyeket a releváns big data eszközökkel végezhetnek el

Közönség

Ha megpróbálja megérteni az adatokból, amelyekhez hozzáférhet, vagy elemezni kívánja a net strukturált adatokat (például Twitter, Linked in, stb.), Ez a kurzus az Ön számára.

Leginkább a döntéshozóknak és azoknak az embereknek szól, akiknek ki kell választaniuk, hogy milyen adatokat érdemes gyűjteni és mit érdemes elemezni.

Nem a megoldást konfiguráló emberekre irányul.

Szállítási mód

A tanfolyam során a küldöttek többnyire nyílt forráskódú technológiákkal foglalkozó példákat mutatnak be.

A rövid előadásokat előadások és egyszerű gyakorlatok követik a résztvevők

Tartalom és szoftver

Minden használt szoftver frissül minden alkalommal, amikor a kurzust futtatják, így ellenőrizzük a legújabb verziókat.

Ez az adatgyűjtés, -formázás, -feldolgozás és -elemzés folyamatát foglalja magában, hogy elmagyarázza, hogyan automatizálható a döntéshozatali folyamat a gépi tanulással.

A nagy adat olyan adatkészletek, amelyek annyira terjedelmesek és összetettek, hogy a hagyományos adatfeldolgozó alkalmazásszoftverek nem megfelelőek ezek kezelésére. A nagy adat kihívások között szerepel az adatok rögzítése, az adatok tárolása, az adatok elemzése, a keresés, a megosztás, az átvitel, a megjelenítés, a lekérdezés, a frissítés és az adatvédelem.

A kurzus célja:

Apache Hadoop Hadoop a legnépszerűbb keretrendszer adatok Big Data feldolgozására szervercsomagokban. Ezen háromnapos (lehetséges négy napos) kurzusban a résztvevők megismerkedhetnek a Hadoop üzleti előnyeivel és alkalmazási területeivel, valamint annak és környezetének rendszerével. Megtanulják, hogyan kell tervezni és növelni a csomagokat, telepíteni, karbantartani, figyelni, hibáztatni és optimalizálni a Hadoop-t. Gyakorolni fogják a csomagokban lévő adatok tömeges betöltését, megismerkednek a különböző Hadoop disztribúciókkal, valamint gyakorolni fognak a Hadoop környezeti eszközök telepítését és kezelését. A kurzus Kerberos segítségével végzett csomag biztonságosításával fejeződik be.

"…A anyagok rendkívül jól készültek és alaposan takarták a témát. A gyakorlatok nagyon hasznosak és jól szervezettek voltak."— Andrew Nguyen, Főintegraciós DW mérnök, Microsoft Online Advertising

Célközönség

Hadoop adminisztrátorok

Formátum

Előadások és gyakorlati laborok, mintegy 60% előadás, 40% labor.

Apache Hadoop a legnépszerűbb keretrendszer adatfeldolgozásra szervercsoportokban. Ez a kurzus bemutatja a fejlesztőknek a különböző komponenseket (HDFS, MapReduce, Pig, Hive és HBase) a Hadoop ökológia részéről.

Apache Hadoop az egyik legnépszerűbb keretrendszer a szervercsoportokon történő feldolgozáshoz. Ez a kurzus a HDFS-ben történő adatok kezelésébe, a Pig előrehaladott alkalmazásába, Hive-be, és HBase-be merül bele. Ezek az előrehaladott programozási technikák a tapasztalt Hadoop fejlesztők számára hasznosak lehetnek.

Célközönség: fejlesztők

Időtartam: három nap

Formátum: előadások (50%) és gyakorlati laborok (50%).

Célpontsoportozat:

Ez a kurzus azt célozza, hogy a big data/Hadoop technológiát megkönnyítse és mutassa meg, hogy nem nehéz megérteni.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a rendszergazdáknak szól, akik szeretnék megtanulni, hogyan állíthatnak be, telepíthetnek és kezelhetnek Hadoop fürtöket szervezetükön belül.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Hadoop-ot.
• Ismerje meg a Hadoop ökoszisztéma négy fő összetevőjét: HDFS, MapReduce, YARN és Hadoop Common.
• A Hadoop Distributed File System (HDFS) segítségével a fürt több száz vagy több ezer csomópontra méretezhető.
• Állítsa be a HDFS-t, hogy tárolómotorként működjön a helyszíni Spark-telepítésekhez.
• Állítsa be a Sparkot az olyan alternatív tárolási megoldások eléréséhez, mint az Amazon S3 és a NoSQL adatbázisrendszerek, például a Redis, az Elasticsearch, a Couchbase, az Aerospike stb.
• Adminisztratív feladatok végrehajtása, például egy Apache Hadoop-fürt létrehozása, kezelése, figyelése és biztonsága.

Ez a kurzus bemutatja a HBase-t, a Hadoop tetején lévő SQL tárolót. A kurzus olyan fejlesztők számára készült, akik HBase-t használnak alkalmazások fejlesztésére, és a rendszergazdákat, akik a HBase klasztereket kezeli.

A HBase architektúrán és az adatmodellezésen és a HBase alkalmazásfejlesztésen keresztül fejlesztőt fogunk végezni. Megvitatja a MapReduce-t a HBase-val, és néhány, a teljesítmény-optimalizálással kapcsolatos adminisztrációs témát. A tanfolyam nagyon praktikus, sok laboratóriumi gyakorlattal.

Időtartam : 3 nap

Közönség : fejlesztők és adminisztrátorok

In this instructor-led, live training in Magyarország (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a műszaki szakembereknek szól, akik szeretnék megtanulni, hogyan valósítsák meg a gépi tanulási stratégiát, miközben maximalizálják a big data felhasználását.

A képzés végére a résztvevők:

• Ismerje meg a gépi tanulás fejlődését és trendjeit.
• Ismerje meg, hogyan használják a gépi tanulást a különböző iparágakban.
• Ismerkedjen meg a gépi tanulás szervezeten belüli megvalósításához rendelkezésre álló eszközökkel, készségekkel és szolgáltatásokkal.
• Ismerje meg, hogyan használható a gépi tanulás az adatbányászat és -elemzés javítására.
• Ismerje meg, mi az a középső adatátviteli háttérrendszer, és hogyan használják azt a vállalkozások.
• Ismerje meg a big data és az intelligens alkalmazások szerepét az iparágakban.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan telepítsék és kezeljék a Apache NiFi-t élő laborkörnyezetben.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apachi NiFi-t.
• Forrása, átalakítása és kezelése különböző, elosztott adatforrásokból, beleértve az adatbázisokat és a nagy adatforrásokat.
• Automatizálja az adatfolyamokat.
• Engedélyezze a streamelési elemzést.
• Alkalmazzon különféle megközelítéseket az adatfeldolgozáshoz.
• Alakítsa át Big Data üzleti betekintést.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják az áramlásalapú programozás alapjait, miközben számos demó-bővítményt, komponenst és processzort fejlesztenek a Apache NiFi segítségével.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit.
• Bővítmények fejlesztése NiFi és harmadik féltől származó API-k használatával.
• Egyedi fejlesztésű saját Apache Nifi processzort.
• Valós idejű adatok feldolgozása és feldolgozása eltérő és nem megszokott fájlformátumokból és adatforrásokból.

Ez oktatóvezetett, élő képzés Magyarország (online vagy helyszínen) azoknak a data scientist-nek szánva, akik az SMACK stacket szeretnék használni nagy adathalmazok feldolgozására szolgáló adatfeldolgozó platformok létrehozásához.

E képzés végére a résztvevők képesek lesznek:

• Nagy adathalmazok feldolgozásához szolgáló adatcsővonal architektúrát valósítani meg.
• Apache Mesos és Docker segítségével cluster infrasztruktúrát fejleszteni.
• Adatokat Spark és Scala segítségével elemzeni.
• Apache Cassandra segítségével strukturálatlan adatokat kezelni.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a mérnököknek szól, akik Apache Spark rendszert szeretnének felállítani és telepíteni nagyon nagy mennyiségű adat feldolgozására.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Sparkot.
• Nagyon nagy adatkészletek gyors feldolgozása és elemzése.
• Ismerje meg az Apache Spark és az Hadoop MapReduce közötti különbséget, és hogy mikor melyiket használja.
• Integrálja az Apache Sparkot más gépi tanulási eszközökkel.

Apache Spark tanulási görbéje eleinte lassan növekszik, sok erőfeszítésre van szükség az első visszatéréshez. Ez a tanfolyam célja az első nehéz rész átlépése. A tanfolyam elvégzése után a résztvevők megértik az Apache Spark alapjait, egyértelműen megkülönböztetik az RDD-t a DataFrame-től, megtanulják a Python és a Scala API-kat, megértik a végrehajtókat és a feladatokat, stb. A bevált gyakorlatokat követve ez a kurzus erősen a következőkre koncentrál: felhő telepítése, Databricks és AWS. A hallgatók megértik az AWS EMR és az AWS Glue, az AWS egyik legújabb Spark szolgáltatásának különbségeit is.

KÖZÖNSÉG:

DevOps , DevOps , Data Scientist

CÉLKITŰZÉS:

Ez a tanfolyam bemutatja az Apache Spark . A hallgatók megtanulják, hogyan illeszkedik a Spark a Big Data ökoszisztémájához, és hogyan lehet a Sparkot használni az adatok elemzéséhez. A tanfolyam kiterjed a Spark shellre az interaktív adatelemzéshez, a Spark belső részei, a Spark API-k, a Spark SQL , a Spark streaming, valamint a gépi tanulás és a graphX számára.

ÖSSZETÉTEL:

Fejlesztők / adatelemzők

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adattudósoknak és fejlesztőknek szól, akik a Apache Spark-ra épülő Spark NLP-et szeretnék használni természetes nyelvi szövegfeldolgozás fejlesztésére, megvalósítására és méretezésére. modellek és csővezetékek.

A képzés végére a résztvevők képesek lesznek:

• Állítsa be a szükséges fejlesztői környezetet az NLP-folyamatok építésének megkezdéséhez az Spark NLP segítségével.
• Ismerje meg a Spark NLP használatának jellemzőit, architektúráját és előnyeit.
• A szövegfeldolgozás megvalósításához használja az Spark NLP-ben elérhető előre betanított modelleket.
• Tanulja meg, hogyan készíthet, taníthat és méretezhet Spark NLP modelleket gyártási szintű projektekhez.
• Alkalmazzon osztályozást, következtetést és hangulatelemzést a valós használati esetekre (klinikai adatok, vásárlói viselkedési betekintések stb.).

A Spark SQL az Apache Spark modulja strukturált és nem strukturált adatok kezelésére. A Spark SQL információkat nyújt az adatok felépítéséről és a végrehajtott számításról. Ez az információ felhasználható optimalizáláshoz. A Spark SQL két általános használata:
- SQL lekérdezések végrehajtása.
- a meglévő Hive telepítés adatainak olvasása.

Ebben az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan kell különféle típusú adatkészleteket elemezni a Spark SQL .

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Spark SQL .
• Végezzen adatelemzést a Spark SQL .
• Lekérdezés adatkészletek különböző formátumokban.
• Vizualizálja az adatokat és a lekérdezés eredményeit.

A tantárgy formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő laboratóriumi környezetben.

Tanfolyam testreszabási lehetőségek

• Ahhoz, hogy igényeljen személyre szabott képzést erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljünk.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a műszaki személyeknek szól, akik szeretnék telepíteni az Talend Open Studio for Big Data alkalmazást, hogy leegyszerűsítsék a Big Data olvasásának és feldolgozásának folyamatát.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Talend Open Studio for Big Data alkalmazást.
• Csatlakozzon olyan Big Data rendszerekhez, mint a Cloudera, a HortonWorks, a MapR, az Amazon EMR és az Apache.
• Ismerje meg és állítsa be az Open Studio big data összetevőit és csatlakozóit.
• Konfigurálja a paramétereket a MapReduce kód automatikus generálásához.
• Használja az Open Studio fogd és vidd felületét a Hadoop-feladatok futtatásához.
• Nagy adatfolyamok prototípusa.
• Automatizálja a big data integrációs projekteket.