Big Data oktatás Magyarország

Ez az oktatóvezetett, élő kiszolgált (online vagy helyszínen) képzés a közepes szintű adattudósok és mérnökök számára készült, akik nagy adatok feldolgozására és elemzésére szeretnék használni a Google Colab-ot és a Apache Spark-et.

Ez a képzés végére a résztvevők képesek lesznek:

• Nagy adatkörnyezet beállítása Google Colab-mal és Spark-kal.
• Nagy adathalmazok hatékony feldolgozása és elemzése Apache Spark-vel.
• Nagy adatok vizualizálása együttműködő környezetben.
• Apache Spark integrálása felhőalapú eszközökkel.

Stratio egy adatokra összpontosító platform, amely nagy adatok, mesterséges intelligencia (AI) és kormányzati funkciókat integrál egy egyetlen megoldásba. Az Rocket és Intelligence modullai lehetővé teszik a gyors adatfelfedezést, átalakítást és előrehaladott analitikai feladatok végrehajtását vállalati környezetekben.

Ez az oktatóvezetett élő tanfolyam (online vagy helyszínen) középszerű szintű adatszakembereknek szól, akik hatékonyan szeretnék használni az Stratio Rocket és Intelligence modullait PySpark-al, a ciklusok, felhasználódefiniált függvények és előrehaladott adatlogika hangsúlyozásával.

E tanfolyam végére a résztvevők képesek lesznek:

• Navigálni és dolgozni az Stratio platformon az Rocket és Intelligence modullal.
• Alkalmazni PySpark-t az adatbefogadás, átalakítás és elemzés kontextusában.
• Ciklusokat és feltételes logikát használni az adatfolyamok és a jellemzők generálásának ellenőrzéséhez.
• Létrehozni és kezelni felhasználódefiniált függvényeket (UDF) ismételten felhasználható adatműveletekhez PySpark-ban.

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sokat gyakorolunk és gyakorolunk.
• Kézbesített implementáció élő laboratóriumi környezetben.

A tanfolyam testreszabási lehetőségei

• Egy testreszabott tanfolyam kéréséhez kérjük, lépjen kapcsolatba velünk.

A Data Warehouse a központi adattárak tervezésének, építésének és működtetésének gyakorlata, amelyek támogatják az elemzést, jelentéseket és döntéshozatalt.

Ez az oktató által vezetett élő képzés (online vagy helyszínen) a középhaladó szintű adategyényszakemberekre vonatkozik, akik kívánják dimenziós modelljeket tervezni, megbízható ETL-folyamatokat építeni és optimalizálni az elemző tevékenységekhez.

A képzés végén a résztvevők képesek lesznek:

• Magyarázni az alapvető adattári koncepciókat és architektúrákat.
• Dimenziós modelleket tervezni, star és snowflake séma között választani.
• Megbízható ETL és ELT folyamatokat építeni és irányítani.
• Az OLTP és OLAP tevékenységeket különböztetni, és optimalizálni az elemzésre.

Képzés formája

• Interaktív előadás és vita.
• Sok gyakorlat és gyakorlés.
• Élő labor környezetben történő gyakorlás.

Képzés testreszabási lehetőségek

• Egyéni képzés kéréséhez lépjen kapcsolatba velünk a rendezéshez.

Azok a résztvevők, akik elvégzik ezt az oktató által vezetett, élő képzést Magyarország-ban, gyakorlati, valós ismereteket szereznek az Big Data-ről és a kapcsolódó technológiáról, módszertanról és eszközről.

A résztvevők gyakorlati gyakorlatokon keresztül lehetőséget kapnak arra, hogy ezt a tudást a gyakorlatba is átültessék. A csoportos interakció és az oktatói visszajelzések az óra fontos részét képezik.

A kurzus a Big Data elemi fogalmainak bemutatásával kezdődik, majd a Data Analysis végrehajtásához használt programozási nyelvek és módszertanok felé halad. Végül tárgyaljuk azokat az eszközöket és infrastruktúrát, amelyek Big Data lehetővé teszik a tárolást, az elosztott feldolgozást és a Scalaképességet.

A Greenplum nyílt forráskódú, tömegesan párhuzamos (MPP) adatplatform, amely elemzések és nagyméretű adatkörnyezetekhez lett tervezve.

Ez az oktatóvezetett, élő (online vagy helyszínen) képzés az intermediális szintű és haladó szintű technikai felhasználók számára van szánva, akik meg akarják ismerni a Greenplum belső architektúráját, optimalizált adatmodelleket akarnak létrehozni és elosztott környezetekben magas teljesítményű SQL-t akarnak alkalmazni.

E képzés végén a résztvevők képesek lesznek:

• Megérteni a Greenplum „semmi megosztás” architektúráját és párhuzamosítási modelljét.
• Kérdelemoptimalizált elosztott táblaszerkezeteket és partíciókat tervezni.
• Indexelési stratégiákat, tárolási formátumokat és fizikai tervezőtechnikákat használni.
• EXPLAIN terveket értelmezni és legjobb gyakorlatokat használni a lekérdezések optimalizálására.

A képzés formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlási lehetőség.
• Gyakorlati alkalmazás élő laboratóriumi környezetben.

A képzés testreszabási lehetőségei

• E képzés testreszabott verzióját kérhetik, kérjük, forduljon hozzánk.

A Greenplum egy nyílt forráskódú tömeges párhuzamos adattárgyalási platform, amely a PostgreSQL-alapú, kiterjesztett analitika és nagy méretű adattárházakhoz tervezve.

Ez az oktató által vezetett élő képzés (online vagy helyszínen) olyan középhozzáférhető rendszergazdák számára készült, akik hatékonyan szeretnék telepíteni, konfigurálni és kezelni a Greenplum környezeteket, beleértve a rendszerfrissítések és könyvtárak kezelését.

A képzés végén a résztvevők képesek lesznek:

• Üzembe helyezhető Greenplum csomag telepítésére és konfigurálására.
• Rendszerfrissítések kezelésére és biztonságos patch-ek alkalmazására.
• Greenplum könyvtárak kezelésére analitikai és kiterjesztési célokra.
• Greenplum rendszerek hibaelhárítására és monitorozására.

A képzés formája

• Interaktív előadás és megbeszélés.
• Greenplum kezelése gyakorlati módon egy ellenőrzött laboratóriumi környezetben.
• Csomagfelállításra, frissítési folyamatokra és rendszerkiterjesztésekre összpontosított irányított gyakorlatok.

A képzés testreszabási lehetőségei

• Ha a környezetének vagy adattárgyalási platformjának megfelelő testreszabott képzést kíván ez a kurzushoz, kérjük, lépjen kapcsolatba velünk, hogy elrendezzük.

Ez oktatóvezetett, élő tanfolyam Magyarország (online vagy helyszínen) az olyan haladó szintű adattudósoknak szól, akik adatelőkészítő folyamatokat szeretnének optimalizálni, biztosítani az adatok integritását és olyan robust data lakehouse megoldásokat implementálni, amelyek képesek kezelni a modern nagy adathalmazok komplexitását.

A tanfolyam végére a résztvevők képesek lesznek:

• Mélyreható megértést szerezni Iceberg architekturájáról, beleértve a metadatalapokat és a fájl elrendezését.
• Iceberg optimalizálását konfigurálni különböző környezetekben és több adatfeldolgozó motorral integrálni.
• Nagy méretű Iceberg táblákat kezelni, bonyolult sémaváltozásokat végrehajtani és partíciófejlődést kezelni.
• Készséget szerezni a leküzdéses módszerekhez nagy adathalmazok optimalizálására és a lekérdezési teljesítmény javítására.
• Mechanizmusokat implementálni az adatok konzisztenciájának biztosítására, tranzakciós garantíák kezelésére és elválasztott környezetekben bekövetkező hibák kezelésére.

Ez tanfolyam, amelyet tanár irányítása alatt online vagy helyszínen lehet elvégezni, az kezdő szintű adattudósoknak szánva, akik szeretnék megszerezni az Apache Iceberg hatékony felhasználásához szükséges tudást és készségeket nagy méretű adathalmazok kezeléséhez, adatok integritásának biztosításához és adatok feldolgozásának optimalizálásához.

A tanfolyam végén a résztvevők képesek lesznek:

• Áttekintést nyernének az Apache Iceberg architekturájáról, funkcióiról és előnyeiről.
• Táblaformátumokról, felosztásról, sémafejlődésről és időutazási lehetőségekről tanulnak.
• Az Apache Iceberg telepítését és konfigurálását különböző környezetekben.
• Az Iceberg táblák létrehozását, kezelését és műveletét.
• Megértik az adatmigráció folyamatát más táblaformátumokból Icebergbe.

Ez oktatóvezetett, élő képzés Magyarország (online vagy helyszínen) a középfokú IT-szakembereket célozza meg, akik szeretnék javítani adattérképzést, adatkezelést, felhőszolgáltatást és nagyadattudományok területén történő tudásukat, hogy hatékonyan kezeljék és elemzék a nagyadathalmazokat az adatátviteli folyamatokban az organizációjukban.

A képzés végén a résztvevők képesek lesznek:

• Megértik az adattérképzés alapvető fogalmait és komponenseit.
• Teljes képet nyernek az adatkezelés alapelveiről és azok jelentőségéről a szabályozási környezetekben.
• Bevezetik és kezelik az adatkezelési keretrendszereket, mint például a Dama és a Togaf.
• Felhasználják a felhőplatformokat a hatékony adattárolás, feldolgozás és kezelés céljából.

Ez a tanárvezető, élő kormányzású (online vagy helyszíni) képzés középfokú adattároló mérnökökre vonatkozik, akik megtanulni szeretnének, hogyan használhatják az Azure Data Lake Storage Gen2-t hatékony adatelemzési megoldások kialakítására.

A képzés végére a résztvevők képesek lesznek:

• Megérteni az Azure Data Lake Storage Gen2 architektúráját és kulcsszempontjait.
• Optimalizálni az adattárolást és -hozáférést költségekért és teljesítmény érdekében.
• Integrálni az Azure Data Lake Storage Gen2-t más Azure-szolgáltatásokkal az elemzéshez és adatfeldolgozáshoz.
• Fejleszteni megoldásokat az Azure Data Lake Storage Gen2 API használatával.
• Megoldani a gyakori problémákat és optimalizálni a tárolási stratégiákat.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik szeretnék használni és integrálni a Sparkot, Hadoop és Python nagy és összetett adatkészletek feldolgozására, elemzésére és átalakítására.

A képzés végére a résztvevők képesek lesznek:

• Állítsa be a szükséges környezetet a nagy adatfeldolgozás megkezdéséhez a Spark, Hadoop és Python segítségével.
• Ismerje meg a Spark és Hadoop szolgáltatásait, alapvető összetevőit és architektúráját.
• Ismerje meg, hogyan integrálhatja a Sparkot, Hadoop és Python-et a nagy adatfeldolgozáshoz.
• Fedezze fel a Spark ökoszisztéma eszközeit (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka és Flume).
• A Netflix, a YouTube, az Amazon, a Spotify és az Google rendszeréhez hasonló együttműködésen alapuló szűrési ajánlórendszerek létrehozása.
• Használja Apache Mahout-ot a gépi tanulási algoritmusok méretezéséhez.

Big Data és előrehaladott elemző analitika a bonyolult technikák és eszközök alkalmazása nagyméretű, komplex adathalmazok elemzésére, cselekvésre alkalmas információk és stratégiai döntéshozatal céljából.

Ez az oktatóvezetett, élő (online vagy helyszínen) képzés az előrehaladott szintű adatelemző szakembereknek szánva, akik kíváncsiak arra, hogy a legújabb elemző módszereket és nagy adattömeget kezelő technológiákat használják előrejelző, javaslatos és valós idejű elemzésre.

Ezt a képzést követően a résztvevők képesek lesznek:

• Nagyméretű adatok feldolgozó csövek tervezésére és megvalósítására strukturált és nem strukturált adatokhoz.
• Előrehaladott gépi tanulás és mély tanulás technikák alkalmazására hatalmas adathalmazokra.
• Elosztott számítási keretrendszerek használatára valós idejű elemzésre és adatok folyamatos átviteli.
• Nagy adattömeget kezelő elemzéseket integrálni üzleti intelligencia és döntéshozatal rendszereibe.

A kurzus formája

• Interaktív előadás és vita.
• Sok gyakorlati feladat és gyakorlás.
• Eleven-labor környezetben történő gyakorlati megvalósítás.

A kurzus testreszabási lehetőségek

• Ezt a képzést testreszabott formában kérni szeretné, kérjük, lépjen kapcsolatba velünk a megbeszéléshez.

Ez a tanárok iránymutatásával megtartott, élőképes képzés Magyarország (online vagy helyszínen) közepes szintű IT-szakemberekre vonatkozik, akik részletes ismereteket szeretnének szerzni az IBM DataStage-ről mind a rendszergazdai, mind a fejlesztési szempontból, hogy hatékonyan tudjanak kezelni és felhasználni ezt az eszközt munkahelyükön.

A képzés végére a részvevők képesek lesznek:

• Megérteni a DataStage alapvető fogalmait.
• Hatékonyan telepíteni, konfigurálni és kezelni a DataStage környezeteket.
• Kapcsolódni különböző adatforrásokhoz, és hatékonyan lekérdezni az adatbázisokból, sima fájlokból és külső forrásokból.
• Alkalmazni hatékony adatbetöltési technikákat.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) kezdő és középszintű rendszergazdáknak szól, akik szeretnék telepíteni, karbantartani és optimalizálni a Spark-fürtöket.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Apache Spark-t különféle környezetekben.
• Fürterőforrások kezelése és Spark-alkalmazások figyelése.
• Optimalizálja a Spark-fürtök teljesítményét.
• Biztonsági intézkedések végrehajtása és magas rendelkezésre állás biztosítása.
• Hibakeresés és a gyakori Spark-problémák elhárítása.

Az Magyarország-ban tartott, oktató által vezetett élő képzésben részt vevők gyakorlati, a valós világból származó ismeretet szerznek a Big Adatról és annak kapcsolódó technológiáiról, módszereiről és eszközeiről.

A résztvevők lehetőségük van arra, hogy gyakorlatban is alkalmazzák ezen ismereteiket a feladatok során. A csoport közötti interakció és az oktató visszajelzése fontos részét képezi a képzésnek.

A tanfolyam elején bevezetőként tárgyaljuk a Big Adat alapvető fogalmait, majd továbbhaladunk a programozási nyelvekről és a módszerekről, amelyekkel az adatelemzést végrehajtják. Végül bemutatjuk azokat az eszközöket és infrastruktúrát, amelyek lehetővé teszik a Big Adat tárolását, a decentralizált feldolgozást és a skálázhatóságot.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.

Célpontsáv:

A kurz az IT-szakembereket célozza, akik megoldást keresnek nagy adathalmazok tárolására és feldolgozására elosztott rendszerekben.

Előfeltételek:

Mélyreható ismeret Hadoop cluster-adminisztrációban.

A technológiai fejlődés és az információmennyiség növekedése átalakítja a működést sok iparágban, beleértve a kormányzást is. A kormányzati adatok előállítása és digitális archiválás sebessége fokozódik az okostelefonok, alkalmazások, okos érzékelők és eszközök, felhőalapú megoldások valamint polgár-megközelítésű portálok gyors növekedése miatt. Ahogy a digitális információ bonyolultabbá válik, az információkezelés, feldolgozás, tárolása, biztonsága és elhelyezése is komplexebbé válik. Új felvételi, keresési, felfedezési és elemző eszközök segítenek a szervezeteknek értelmezni az unstruktúrizált adatokat. A kormányzati piac egy fordulóponton áll: a szereplők megértik, hogy az információ stratégiai eszköz, és a kormányzatnak biztosítania, kihasználnia és elemeznie kell mind az struktúrizált, mind az unstruktúrizált adatokat, hogy hatékabban szolgálja polgárai igényeit és teljesítse a feladataikat. Ahogy a kormányzati vezetők az adattal megerősített szervezetek kiépítését célozzák, alapozzák le a folyamatok, emberek, információk és események közötti összefüggések felmérésére vonatkozó rendszereket.

Az értékalkotó kormányzati megoldások a legravítóbb technológiák kombinációjából jöttek létre:

• Okostelefonok és alkalmazások
• Felhőszolgáltatások
• Szociális üzleti technológiák és hálózatok
• Big Data és elemző eszközök

A Big Data az okos ipari megoldások egyike, amely lehetővé teszi a kormányzat számára, hogy jobb döntéseket hozzon a nagy mennyiségű adatok (struktúrizált és unstruktúrizált) elemzésével.

Azonban ezek elérése sokkal több, mint csak a vastag adatmennyiségek gyűjtése. “A nagy mennyiségű Big Data értelmezéséhez szükség van végzetes eszközökre és technológiákra, amelyek képesek analizálni és hasznos ismereteket vonni a sokfajtányú adatáramokból,” írta Tom Kalil és Fen Zhao a White House Office of Science and Technology Policy blogjában.

A Biały Ház egy lépéssel közelebb került a technológiák megkereséséhez, amikor 2012-ben létrehozta a Nemzeti Big Data Kutatási és Fejlesztési Kezdeményzetet. A kezdeményezés során több mint 200 millió dollárt szántak a nagy mennyiségű adat felbukkanásának kihasználásához és az adatelemzéshez szükséges eszközök fejlesztésére.

A Big Data által felvetett kihívások ugyanúgy döntőek, mint a hozzá kapcsolódó lehetőségek eredményesei. Az adattárolás hatékony módja egy ilyen kihívás. Ahogy mindig, a költségvetés korlátozott, ezért a szervezetek minimalizálni kellnek az MB-onkénti tárhellyel és könnyen elérhetővé kell tenniük az adatokat, hogy a felhasználók bármikor és úgy is elérhessék őket, ahogy szükségük van rá.

Az adatelemzés hatékonyságának biztosítása egy másik nagy kihívás. Sok szervezet használkodik kereskedelmi eszközökhöz, amelyek lehetővé teszik számukra a hatalmas mennyiségű adatok átverését, olyan trendek felmérésével, amelyek segítenek hatékabban működni. (Egy MeriTalk legutóbbi tanulmány alapján a föderális IT vezetők úgy vélik, hogy a Big Data segíthet az ügynökségeknek több mint 500 milliárd dollárt megtakarni, miközben teljesítik feladataikat.).

A kormányzatok számára fejlesztett Big Data eszközök is segítenek az adatelemzésre vonatkozó igényeik betartásában. Például az Oak Ridge Nemzeti Laboratórium Számítógépes Adatanalitika Csoportja a Piranha adatelemző rendszert más szervezetek számára elérhetővé tette. A rendszer segíthetett orvosi kutatóknek egy olyan kapcsolat felfedezésében, amely előre jelezni tudja a hajócsövör nyúlásokat mielőtt azok bekövetkeznek. Hasznosítják ezt a rendszert egyszerűbb feladatokra is, mint például a személyzet összekapcsolása álláspozíciókkal.

1. nap - áttekintést nyújt a Big Data lényeges témakörökről magas szinten. A modul egy sorozat szakaszra van osztva, mindegyikhez egy gyakorlati feladat tartozik.

2. nap - kutatja a Big Data környezetekhez kapcsolódó analízis gyakorlatokat és eszközöket. Nem mélyül az implementáció vagy programozási részletekbe, hanem a Big Data megoldások által nyújtott közösen analízis funkciók és jellemzők megértésére koncentrál, így a résztvevők általános megértése biztosítható.

3. nap - áttekintést nyújt a Big Data megoldásplatform-architektúrához kapcsolódó alapvető és lényeges témakörökről. Azokat a Big Data mechanizmusokat mutatja be, amelyek szükségesek egy Big Data megoldásplatform kifejlesztéséhez, valamint a adatfeldolgozó platform összeállításának architektúrai lehetőségeit. Jelenlegi gyakorlatokat is bemutatunk, hogy alapvető ismereteket nyújtsunk egy Big Data megoldásplatform használatáról.

4. nap - épül tovább a 3. napon, olyan előrehaladott témakörök kutatásával, amelyek kapcsolódnak a Big Data megoldásplatform-architektúrához. Megismertetjük és megvitathatjuk a különböző architektúrai rétegeket, amelyek alkotják a Big Data megoldásplatformot, beleértve az adatforrásokat, az adatbevitelt, az adattárolást, az adatfeldolgozást és a biztonságot.

5. nap - különböző gyakorlatokat és problémákat tartalmaz, amelyek tesztelik a delegáltak képességet arra, hogy a 3. és 4. napokon tárgyalt témákhoz kapcsolódó ismereteiket alkalmazzák.

A big adatelemzés a nagy mennyiségű és változatos adathalmazok elemezésének folyamata, amelynek célja korrelációk, rejtett minták és más hasznos információk feltárása.

Az egészségügy rendelkezik hatalmas mennyiségű összetett és heterogén orvosi és klinikai adattal. Az egészségi adatok big adatelemzése jelentős potenciállal bír a betegellátás javítására szolgáló információk megszerzésében. Ugyanakkor ezek az adathalmazok nagy mennyiségük miatt jelentősek kihívásokat jelentenek az elemzéseken és a klinikai környezetben való gyakorlati alkalmazásaival kapcsolatosan.

Ez a tanárvezetett, élőképes képzés (távoktatás) során a résztvevők megtanulják, hogyan végezhetnek big adatelemzést az egészségügyben, míg átmentek egy sor gyakorlati feladatokon és élő-labor gyakorlatokon.

A képzés végére a résztvevők képesek lesznek:

• Telepíteni és konfigurálni big adatelemző eszközöket, mint például az Hadoop MapReduce-t és a Spark-ot
• Megérteni az orvosi adatok jellemzőit
• Big adatelemzési technikákat alkalmazni az orvosi adatok kezelése céljából
• Vizsgálni a big adatszisztémákat és algoritmusokat egészségügyi alkalmazások kontextusában

Célcsoport

• Fejlesztők
• Adattudósok

Képzés formája

• Rész előadás, rész diskusszió, gyakorlatok és intenzív gyakorlással.

Megjegyzés

• Egy személyre szabott képzés kéréséhez lépjen kapcsolatba velünk a rendezésének meghatározásához.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják azt a gondolkodásmódot, amellyel megközelíthetik Big Data technológiákat, felmérik azok hatását a meglévő folyamatokra és politikákra, és alkalmazzák ezeket a technológiákat a bűncselekmények azonosítása és a bűnmegelőzés céljából. Megvizsgálják a világ bűnüldöző szervezeteitől származó esettanulmányokat, hogy betekintést nyerjenek elfogadási megközelítéseikbe, kihívásaikba és eredményeikbe.

A képzés végére a résztvevők képesek lesznek:

• Kombinálja Big Data technológiát a hagyományos adatgyűjtési folyamatokkal, hogy összeállítson egy történetet a nyomozás során.
• Ipari nagy adattárolási és adatfeldolgozási megoldások megvalósítása adatelemzésre.
• Javaslat készítése a legmegfelelőbb eszközök és eljárások elfogadására a bűnügyi nyomozás adatközpontú megközelítésének lehetővé tételére.

Big Data olyan kifejezés, amely olyan megoldásokra utal, melyek nagy adathalmazok tárolására és feldolgozására szolgálnak. Ezek az Big Data megoldások kezdetben Google által lettek kifejlesztve, és azoknak az evolúciójuk során más hasonló projekteket inspiráltak, melyek közül sok nyílt forrásúként áll rendelkezésre. R egy népszerű programozási nyelv a pénzügyi szektorban.

Mikor a hagyományos adattároló technológiák nem kezelik megfelelően az el szeretném tárolni mennyiségű adatot, számos alternatíva áll rendelkezésre. Ez a kurzus segíti a résztvevőket abban, hogy megértsék, milyen lehetőségek állnak rendelkezésre a nagy adatok tárolására és elemzésére, valamint mi az előnyei és hátrányai ezeknek az opcióknak.

A kurzus főleg beszédet és megoldások bemutatását érzi ki, bár gyakorlási feladatok is elérhetők igény esetén.

A kurzus a Data Scientist készségkészlet része (Domain: Data and Technology).

Ez az osztálytermi képzés a Big Data-t fogja feltárni. A küldöttek számítógépes példákkal és esettanulmányi gyakorlatokkal rendelkeznek, amelyeket a releváns big data eszközökkel végezhetnek el

Közönség

Ha megpróbálja megérteni az adatokból, amelyekhez hozzáférhet, vagy elemezni kívánja a net strukturált adatokat (például Twitter, Linked in, stb.), Ez a kurzus az Ön számára.

Leginkább a döntéshozóknak és azoknak az embereknek szól, akiknek ki kell választaniuk, hogy milyen adatokat érdemes gyűjteni és mit érdemes elemezni.

Nem a megoldást konfiguráló emberekre irányul.

Szállítási mód

A tanfolyam során a küldöttek többnyire nyílt forráskódú technológiákkal foglalkozó példákat mutatnak be.

A rövid előadásokat előadások és egyszerű gyakorlatok követik a résztvevők

Tartalom és szoftver

Minden használt szoftver frissül minden alkalommal, amikor a kurzust futtatják, így ellenőrizzük a legújabb verziókat.

Ez az adatgyűjtés, -formázás, -feldolgozás és -elemzés folyamatát foglalja magában, hogy elmagyarázza, hogyan automatizálható a döntéshozatali folyamat a gépi tanulással.

A nagy adat olyan adatkészletek, amelyek annyira terjedelmesek és összetettek, hogy a hagyományos adatfeldolgozó alkalmazásszoftverek nem megfelelőek ezek kezelésére. A nagy adat kihívások között szerepel az adatok rögzítése, az adatok tárolása, az adatok elemzése, a keresés, a megosztás, az átvitel, a megjelenítés, a lekérdezés, a frissítés és az adatvédelem.

Apache Hadoop Hadoop a legnépszerűbb keretrendszer adatok Big Data feldolgozására szervercsomagokban. Ezen háromnapos (lehetséges négy napos) kurzusban a résztvevők megismerkedhetnek a Hadoop üzleti előnyeivel és alkalmazási területeivel, valamint annak és környezetének rendszerével. Megtanulják, hogyan kell tervezni és növelni a csomagokat, telepíteni, karbantartani, figyelni, hibáztatni és optimalizálni a Hadoop-t. Gyakorolni fogják a csomagokban lévő adatok tömeges betöltését, megismerkednek a különböző Hadoop disztribúciókkal, valamint gyakorolni fognak a Hadoop környezeti eszközök telepítését és kezelését. A kurzus Kerberos segítségével végzett csomag biztonságosításával fejeződik be.

"…A anyagok rendkívül jól készültek és alaposan takarták a témát. A gyakorlatok nagyon hasznosak és jól szervezettek voltak."— Andrew Nguyen, Főintegraciós DW mérnök, Microsoft Online Advertising

Célközönség

Hadoop adminisztrátorok

Formátum

Előadások és gyakorlati laborok, mintegy 60% előadás, 40% labor.

Az Apache Hadoop a legnépszerűbb keretrendszer nagy adatok feldolgozásához kiszolgálóklaszterekben. Ez a tanfolyam bemutatja egy fejlesztőnek a Hadoop ökoszisztémájának különböző komponenseit (HDFS, MapReduce, Pig, Hive és HBase).

Az Apache Hadoop egyik legnépszerűbb keretrendszere a nagy adatok (Big Data) feldolgozásához kiszolgálóklasztereken. Ez a tanfolyam mélyebben értelmezhető az HDFS-ben történő adattárgyalásban, a fejlett Pig, Hive és HBase technikákat is tartalmazza. Ezek a fejlett programozási technikák nagy jelentőséggel bírnak tapasztalt Hadoop-fejlesztők számára.

Célcsoport: fejlesztők

Tartam: három nap

Formátum: előadások (50%) és gyakorlati laborok (50%).

Célpontsoportozat:

Ez a kurzus azt célozza, hogy a big data/Hadoop technológiát megkönnyítse és mutassa meg, hogy nem nehéz megérteni.

Ez az edző által vezetett, élő képzés Magyarország-ban (online vagy helyszíni) a rendszergazdák számára készült, akik tanulni szeretnének, hogyan állítsanak be, közzétegyenek és kezeljenek Hadoop fürtöket a vállalatukon belül.

A képzés végén a résztvevők:

• Képesek lesznek Apache Hadoopt telepíteni és konfigurálni.
• Megértsék a Hadoop-ekoszisztémában lévő négy fő összetevőt: HDFS, MapReduce, YARN és Hadoop Common-t.
• A Hadoop Distributed File System (HDFS)-et olyan módon használják, hogy a fürt méretét százokra vagy ezredekbe növelhetik.
• Beállítják az HDFS-t a helyszíni Spark telepítések adattároló rendszerének működéséhez.
• Beállítják a Spark-ot olyan alternatív adattárolási megoldások eléréséhez, mint az Amazon S3 és a NoSQL adatbázisrendszerek (pl. Redis, Elasticsearch, Couchbase, Aerospike stb.).
• Képesek lesznek rendszergazdai feladatokat elvégezni, mint például: üzembe helyezés, kezelés, monitorozás és biztonságossá tétele egy Apache Hadoop fürtnek.

Ez a kurzus bemutatja az HBase-t – egy NoSQL adattárolót a Hadoop felett. A kurzust fejlesztőknek és rendszergazdáknak szántuk, akik feladatukban az HBase alkalmazások fejlesztése vagy az HBase-fürtök adminisztrálása lesz.

Egy fejlesztőt vezet végig az HBase architektúráján, adatmodellezésén és alkalmazási területein. A kurzus továbbá bemutatja az HBase használatát a MapReduce-nal és néhány rendszergazdai témát is, amelyek kapcsolódnak a teljesítmény optimalizálásához. A kurzus nagyon gyakorlati jellegű, sok labor feladattal rendelkezik.

Tartam: 3 nap

Célcsoport: Fejlesztők & Rendszergazdák

Ebben az oktató által vezetett, élő képzésben Magyarország (helyszíni vagy távolságos) a résztvevők megtanulják, hogyan állíthatnak be és integráljanak különböző Stream Processzor keretrendszereket az adattároló rendszerekkel és kapcsolódó szoftverek és mikroszolgáltatásokkal.

A képzés végeztével a résztvevők képesek lesznek:

• Különböző Stream Processzor keretrendszereket, mint például a Spark Streaming-t és Kafka Streaming-t telepíteni és konfigurálni.
• Értetni és kiválasztani a legalkalmasabb keretrendszert az adott feladathoz.
• Az adatok folyamatos, párhuzamos és egyesített módú feldolgozását elvégezni.
• A Stream Processzor megoldások integrálása meglévő adatbázisokkal, adattárházakkal, adat-tavakkal stb.
• A legalkalmasabb stream processzor könyvtár integrálása vállalati alkalmazások és mikroszolgáltatásokkal.

Ez az oktató által vezetett, élő képzés Magyarország (online vagy személyes) odaadja a technikai személlyel, akinek szeretne megtanulni, hogyan alakíthat ki egy gépi tanulási stratégiát, miközben a nagy adatok használatát maximalizálja.

E képzés végére a résztvevők:

• Ismerik a gépi tanulás fejlődését és trendjeit.
• Tudják, hogyan használják a gépi tanulást különböző iparágakban.
• Ismerkednek meg az olyan eszközökkel, képességekkel és szolgáltatásokkal, amelyekkel egy szervezetben implementálható a gépi tanulás.
• Tudják, hogyan használható a gépi tanulás az adatelemzés és -másolás fejlesztésére.
• Megtanulják, miféle egy adat központi háttér, és hogyan használják azt a vállalatok.
• Tudják, mi az a nagy adat és az intelligens alkalmazások szerepe különböző iparágakban.

Az Apache NiFi egy nyílt forráskódú, folyamat-alapú adatintegrációs és eseményfeldolgozási platform. Automatikus, valós idejű adatátvitelt, átalakítást és rendszerközvetítést tesz lehetővé különböző rendszerek között, web-alapú UI-vel és finom szemcsekontrollal.

Ez az oktatóvezetett, élő képzés (helyszínen vagy távolról) az középszintű adminisztrátorok és mérnökök számára szánva, akik az Apache NiFi adatfolyamokat szeretnék telepíteni, kezelni, biztonságosítani és optimalizálni gyártási környezetekben.

A képzés végén a résztvevők képesek lesznek:

• Apache NiFi csomagokat telepíteni, konfigurálni és karbantartani.
• Adatfolyamokat tervezni és kezelni különböző források és célok között.
• Folyamat-automatizálást, átirányítást és átalakítási logikát valósítani.
• Teljesítményt optimalizálni, műveleteket monitorozni és problémákat kezelni.

A képzés formája

• Interaktív előadás valós világbeli architektúra vitával.
• Pratikus laborok: folyamok építése, telepítése és kezelése.
• Szcenárium alapú gyakorlatok élő laborok környezetben.

A képzés testreszabási lehetőségei

• A képzés testreszabására kérjük, forduljon hozzánk, hogy rendezzük el.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják az áramlásalapú programozás alapjait, miközben számos demó-bővítményt, komponenst és processzort fejlesztenek a Apache NiFi segítségével.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit.
• Bővítmények fejlesztése NiFi és harmadik féltől származó API-k használatával.
• Egyedi fejlesztésű saját Apache Nifi processzort.
• Valós idejű adatok feldolgozása és feldolgozása eltérő és nem megszokott fájlformátumokból és adatforrásokból.

Ez az oktató által vezetett, élő kormányzás Magyarország-ban (online vagy helyszíni) adatait tudósokra irányul, akik szeretnék használni a SMACK stack-ot nagy adatmegoldásokhoz.

Ez az oktatási program végére a résztvevők képesek lesznek:

• Adatfeldolgozási architektúra kialakítása nagy adatok kezeléséhez.
• Klüster infrastruktúra fejlesztése Apache Mesos és Docker használatával.
• Adatok elemzése Spark és Scala segítségével.
• Strukturálhatatlan adatok kezelése Apache Cassandra használatával.

Ez az oktató vezetett, élő képzés Magyarország (online vagy helyszínen) azzal az ingenierek számára készült, akik be szeretnének állítani és üzembe helyezni az Apache Spark rendszert nagyon nagy mennyiségű adat feldolgozásához.

E képzés végére a résztvevők képesek lesznek:

• Az Apache Spark telepítésére és konfigurálására.
• Gyorsan feldolgozni és elemezni nagyon nagy adatmennyiségeket.
• Megérteni az eltéréseket az Apache Spark és a Hadoop MapReduce között, valamint tudniuk, melyiket használják milyen esetben.
• Egyéb gépi tanulási eszközt integrálni az Apache Sparkkal.

Az Apache Spark tanulási görbe lassan növekszik a kezdetben, sok erőt igényel az első eredmény eléréséhez. Ez a kurzus célja, hogy átugorja az első nehéz részt. A kurzus elvégzése után a résztvevők meg fogják érteni az Apache Spark alapjait, tisztán meg fogják különböztetni az RDD-t a DataFrame-től, meg fogják tanulni a Python és Scala API-t, meg fogják érteni az executorsokat és a feladatokat stb. A legjobb gyakorlatokat követve, ezen a kurzuson erősen hangsúlyozzuk a felhőbe való telepítést, a Databricks-t és az AWS-t. A tanulók meg fogják érteni az AWS EMR és AWS Glue különbségeit, az AWS legújabb Spark szolgáltatását.

AUDIENCE:

Adatmérnök, DevOps, Adattudós

CÉL:

Ez a kurzus bemutatja az Apache Spark-ot. A tanulók megtanulják, hogyan illeszkedik be a Spark a Big Data ökoszisztémába, és hogyan használható adatelemzésre. A kurzus tartalmazza a Spark shell interaktív adatelemzésének, a Spark belső szerkezetének, API-jának, SQL, streaming, gépi tanulás és GraphX szegmenseinek bemutatását.

CÉLSZOMBOR:

Fejlesztők / Adatelemzők

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adattudósoknak és fejlesztőknek szól, akik a Apache Spark-ra épülő Spark NLP-et szeretnék használni természetes nyelvi szövegfeldolgozás fejlesztésére, megvalósítására és méretezésére. modellek és csővezetékek.

A képzés végére a résztvevők képesek lesznek:

• Állítsa be a szükséges fejlesztői környezetet az NLP-folyamatok építésének megkezdéséhez az Spark NLP segítségével.
• Ismerje meg a Spark NLP használatának jellemzőit, architektúráját és előnyeit.
• A szövegfeldolgozás megvalósításához használja az Spark NLP-ben elérhető előre betanított modelleket.
• Tanulja meg, hogyan készíthet, taníthat és méretezhet Spark NLP modelleket gyártási szintű projektekhez.
• Alkalmazzon osztályozást, következtetést és hangulatelemzést a valós használati esetekre (klinikai adatok, vásárlói viselkedési betekintések stb.).

Az Apache Spark SQL a strukturált és strukturálatlan adatok kezelésére szolgáló modul. A Spark SQL információt nyújt az adatok szerkezetéről valamint a végrehajtandó számításokról. Ez az információ használható optimalizálási célokra. Két gyakori felhasználási módja a Spark SQL-nak:
- SQL lekérdezések végrehajtása.
- meglévő Hive telepítésből történő adatolvasás.

Ez az oktató, élő képzés (terhelésben vagy távolról) segítséget nyújt a különböző típusú adatkészletek elemzésében a Spark SQL használatával.

A képzés végére a résztvevők képesek lesznek:

• Telepíteni és beállítani a Spark SQL-t.
• Elemezni adatokat a Spark SQL használatával.
• Lekérdezni különböző formátumú adatkészleteket.
• Megjeleníteni az adatokat és a lekérdezések eredményeit.

Képzés formája

• Interaktív előadás és tárgyalás.
• Sok gyakorlat és gyakorlás.
• Élő labor környezetben való alkalmazás.

Képzés személyre szabási lehetőségei

• Egyéni képzés kérése ennek a kurzusnak, kérem lépjen kapcsolatba velünk a megfelelő rendezéshez.

Ez az oktató által vezetett élő képzés Magyarország (online vagy terheltséghelyen) a technikai személyeknek irányul, akik szeretnék telepíteni és használni a Talend Open Studio for Big Data-ot, hogy egyszerűbbé tegyék a big data olvasását és feldolgozását.

A képzés végére a résztvevők képesek lesznek:

• Telepíteni és konfigurálni a Talend Open Studio for Big Data-t.
• Kapcsolódni big data rendszerekhez, például a Cloudera-hez, HortonWorks-hoz, MapR-hez, Amazon EMR-hez és Apache-hez.
• Megérteni és beállítani az Open Studio big data komponenseit és csatlakozókat.
• Beállítani a paramétereket a MapReduce kód automatikus generálásához.
• Használni az Open Studio húzásszerkesztéses felhasználói felületét a Hadoop feladatok futtatásához.
• Prototíp big data folyamatokat készíteni.
• Automatizálni a big data integrációs projekteket.