Big Data oktatás Bács-Kiskun

Ez az oktató által vezetett, élő képzés Bács-Kiskun-ben (online vagy helyszíni) középhaladó szintű adattudósok és mérnökök számára készült, akik a Google Colab és Apache Spark használatával szeretnék feldolgozni és elemezni a nagy adatokat.

A képzés végére a résztvevők képesek lesznek:

• Big Data környezet beállítása a Google Colab és Spark segítségével.
• Nagy adathalmazok hatékony feldolgozása és elemzése Apache Spark segítségével.
• Big Data vizualizáció együttműködő környezetben.
• Apache Spark integrálása felhőalapú eszközökkel.

A Stratio egy adatközpontú platform, amely a big data, az AI és a governance integrációját kínálja egyetlen megoldásban. A Rocket és Intelligence moduljai lehetővé teszik a gyors adatfeltárást, átalakítást és haladó elemzéseket vállalati környezetekben.

Ez az oktató által vezetett, élő képzés (online vagy helyszíni) középhaladó szintű adatszakembereknek szól, akik hatékonyan szeretnék használni a Rocket és Intelligence modulokat a Stratio-ban PySparkkal, különös tekintettel a ciklusstruktúrákra, felhasználó által definiált függvényekre és haladó adatlogikára.

A képzés végére a résztvevők képesek lesznek:

• Navigálni és dolgozni a Stratio platformon a Rocket és Intelligence modulok segítségével.
• PySpark alkalmazása adatbetöltés, átalakítás és elemzés során.
• Ciklusok és feltételes logika használata az adatmunkafolyamatok és a jellemzőmérnöki feladatok szabályozására.
• Felhasználó által definiált függvények (UDF) létrehozása és kezelése újrafelhasználható adatműveletekhez PySparkban.

A képzés formátuma

• Interaktív előadás és megbeszélés.
• Számos gyakorlat és gyakorlati feladat.
• Gyakorlati implementáció élő laboratóriumi környezetben.

Képzés testreszabási lehetőségei

• Ha testreszabott képzést szeretne kérni ehhez a kurzushoz, kérjük, lépjen kapcsolatba velünk.

Az adattárházak olyan központosított adattárak tervezését, építését és üzemeltetését jelentik, amelyek támogatják az elemzést, jelentéskészítést és döntéshozatalt.

Ez az oktató által vezetett, élőben tartott képzés (online vagy helyszínen) középhaladó szintű adatszakembereknek szól, akik dimenziós adatmodellezéssel, robusztus ETL folyamatok kialakításával és elemző munkaterhelések optimalizálásával szeretnének foglalkozni.

A képzés végére a résztvevők képesek lesznek:

• Megmagyarázni az adattárházak alapvető fogalmait és architektúráit.
• Dimenziós modelleket tervezni és választani a csillag és hópehely sémák között.
• Megbízható ETL és ELT folyamatokat építeni és irányítani.
• Megkülönböztetni az OLTP és OLAP munkaterheléseket és optimalizálni az elemzéseket.

A képzés formátuma

• Interaktív előadás és vita.
• Számos gyakorlat és gyakorlati feladat.
• Gyakorlati implementáció élő laboratóriumi környezetben.

Képzés testreszabási lehetőségei

• Ha testreszabott képzést szeretne kérni, kérjük, lépjen kapcsolatba velünk.

A képzés során a résztvevők gyakorlati, valós világhoz kapcsolódó betekintést nyernek a Big Data világába, annak technológiáiba, módszertanaiba és eszközeibe.

A résztvevők lehetőséget kapnak a megszerzett tudás gyakorlati alkalmazására gyakorlati feladatok segítségével. A csoportos interakció és az oktatói visszajelzés kiemelt szerepet játszik a képzés során.

A kurzus a Big Data alapfogalmainak bemutatásával kezdődik, majd az adatelemzéshez használt programozási nyelvek és módszertanok bemutatására tér át. Végül kitérünk azokra az eszközökre és infrastruktúrákra, amelyek lehetővé teszik a Big Data tárolását, elosztott feldolgozását és skálázhatóságát.

A Greenplum egy nyílt forráskódú, nagymértékben párhuzamos feldolgozást (MPP) biztosító adatplatform, amely elemzési és nagy léptékű adatkörnyezetekre tervezett.

Ez az oktató által vezetett, élő képzés (online vagy helyszíni) középhaladó és haladó szintű technikai felhasználóknak szól, akik szeretnék megérteni a Greenplum belső architektúráját, optimalizált adatmodelleket építeni, és nagy teljesítményű SQL-t alkalmazni elosztott környezetekben.

A képzés végére a résztvevők képesek lesznek:

• Megérteni a Greenplum shared-nothing architektúráját és párhuzamossági modelljét.
• Lekérdezési teljesítményre optimalizált elosztott táblaszerkezeteket és partíciókat tervezni.
• Indexelési stratégiákat, tárolási formátumokat és fizikai tervezési technikákat használni.
• Értelmezni az EXPLAIN terveket és optimalizálni a lekérdezéseket a legjobb gyakorlatok alapján.

A képzés formátuma

• Interaktív előadás és megbeszélés.
• Számos gyakorlat és gyakorlás.
• Gyakorlati megvalósítás élő laboratóriumi környezetben.

Kurzus testreszabási lehetőségek

• Ha testreszabott képzést szeretne kérni ehhez a kurzushoz, kérjük, lépjen kapcsolatba velünk.

A Greenplum egy nyílt forráskódú, masszívan párhuzamos adatplatform, amely a PostgreSQL-re épül, és fejlett elemzési és nagy léptékű adattárház-kezelési célokra tervezték.

Ez az oktató által vezetett, élő képzés (online vagy helyszíni) középhaladó szintű rendszergazdáknak szól, akik hatékonyan szeretnék telepíteni, konfigurálni és kezelni a Greenplum környezeteket, beleértve a rendszerfrissítések és könyvtárak kezelését.

A képzés végére a résztvevők képesek lesznek:

• Telepíteni és konfigurálni egy éles környezetben használható Greenplum klasztert.
• Kezelni a rendszerfrissítéseket és biztonságosan alkalmazni a javításokat.
• Kezelni a Greenplum könyvtárakat az elemzések és kiterjesztések számára.
• Hibaelhárítást végezni és figyelni a Greenplum rendszereket.

A képzés formátuma

• Interaktív előadás és megbeszélés.
• Gyakorlati Greenplum használat egy kontrollált laboratóriumi környezetben.
• Irányított gyakorlatok a klaszter beállítására, frissítési munkafolyamatokra és rendszerkiterjesztésekre fókuszálva.

Képzés testreszabási lehetőségek

• Ha testreszabott képzést szeretne kérni a saját környezetére vagy adatplatformjára, kérjük, lépjen kapcsolatba velünk a megbeszélés érdekében.

Ez az oktató által vezetett, élő képzés Bács-Kiskun (online vagy helyszíni) haladó szintű adatszakembereknek szól, akik optimalizálni szeretnék az adatfeldolgozási munkafolyamatokat, biztosítani szeretnék az adatok integritását, és robusztus adattárház-megoldásokat szeretnének implementálni, amelyek kezelni tudják a modern big data alkalmazások összetettségét.

A képzés végére a résztvevők képesek lesznek:

• Mélyrehatóan megérteni az Iceberg architektúráját, beleértve a metaadatkezelést és a fájlelrendezést.
• Az Iceberg konfigurálása optimális teljesítmény érdekében különböző környezetekben és integrálása több adatfeldolgozó motorral.
• Nagy léptékű Iceberg táblák kezelése, összetett sémaváltoztatások végrehajtása és partíciófejlődés kezelése.
• Lekérdezési teljesítmény és adatvizsgálati hatékonyság optimalizálásának technikáinak elsajátítása nagy adathalmazok esetén.
• Mechanizmusok implementálása az adatkonzisztencia biztosítására, tranzakciós garanciák kezelésére és hibák kezelésére elosztott környezetekben.

Ez az oktató által vezetett, élő képzés Bács-Kiskun (online vagy helyszíni) kezdő szintű adatszakembereknek szól, akik szeretnék megszerezni a szükséges ismereteket és készségeket ahhoz, hogy hatékonyan használhassák az Apache Iceberg-et nagyméretű adathalmazok kezelésére, az adatok integritásának biztosítására és az adatfeldolgozási munkafolyamatok optimalizálására.

A képzés végére a résztvevők képesek lesznek:

• Mélyrehatóan megismerni az Apache Iceberg architektúráját, funkcióit és előnyeit.
• Megismerkedni a táblaformátumokkal, particionálással, sémaváltozással és az időutazás képességeivel.
• Telepíteni és konfigurálni az Apache Iceberg-et különböző környezetekben.
• Iceberg táblákat létrehozni, kezelni és manipulálni.
• Megérteni az adatok migrálásának folyamatát más táblaformátumokból az Iceberg-be.

Ez az oktató által vezetett, élő képzés Bács-Kiskun-ben (online vagy helyszíni) középszintű informatikai szakembereknek szól, akik szeretnék fejleszteni készségeiket az adatarchitektúrák, adatirányítás, felhőszámítás és big data technológiák területén, hogy hatékonyan kezelhessék és elemezhessék a nagy adathalmazokat az adatmigráció során a szervezetükön belül.

A képzés végére a résztvevők képesek lesznek:

• Megérteni az alapvető fogalmakat és összetevőket különböző adatarchitektúrákban.
• Átfogó ismereteket szerezni az adatirányítási elvekről és azok fontosságáról a szabályozási környezetekben.
• Megvalósítani és kezelni az adatirányítási keretrendszereket, mint például a Dama és a Togaf.
• Kihasználni a felhőplatformokat az adattárolás, -feldolgozás és -kezelés hatékonyabbá tételéhez.

Ez az oktató által vezetett, élő képzés Bács-Kiskun (online vagy helyszíni) középszintű adatmérnököknek szól, akik szeretnének megtanulni, hogyan használják az Azure Data Lake Storage Gen2-t hatékony adatelemzési megoldásokhoz.

A képzés végén a résztvevők képesek lesznek:

• Megérteni az Azure Data Lake Storage Gen2 architektúráját és kulcsfontosságú funkcióit.
• Optimalizálni az adattárolást és hozzáférést a költségek és teljesítmény szempontjából.
• Integrálni az Azure Data Lake Storage Gen2-t más Azure szolgáltatásokkal elemzési és adatfeldolgozási célokra.
• Megoldásokat fejleszteni az Azure Data Lake Storage Gen2 API használatával.
• Hibaelhárítást végezni gyakori problémák esetén és tárolási stratégiákat optimalizálni.

Ez az oktató által vezetett, élőben zajló képzés Bács-Kiskun-ben (online vagy helyszíni) azoknak a fejlesztőknek szól, akik szeretnék használni és integrálni a Sparkot, Hadoopot és Pythont nagy és összetett adathalmazok feldolgozására, elemzésére és átalakítására.

A képzés végén a résztvevők képesek lesznek:

• Beállítani a szükséges környezetet a big data feldolgozásának megkezdéséhez Spark, Hadoop és Python segítségével.
• Megérteni a Spark és Hadoop jellemzőit, alapvető összetevőit és architektúráját.
• Megtanulni, hogyan integrálható a Spark, Hadoop és Python a big data feldolgozásához.
• Felfedezni a Spark ökoszisztéma eszközeit (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka és Flume).
• Kollaboratív szűrésű ajánlórendszereket építeni, hasonlóan a Netflix, YouTube, Amazon, Spotify és Google rendszereihez.
• Az Apache Mahout használata gépi tanulási algoritmusok skálázására.

A Big Data és Fejlett Elemzés kifinomult technikák és eszközök alkalmazása nagy, összetett adathalmazok elemzésére, hogy működési betekintéseket és stratégiai döntéshozatali lehetőségeket nyújtson.

Ez az oktató által vezetett, élő képzés (online vagy helyszíni) haladó szintű adatszakembereknek szól, akik a legújabb elemzési módszereket és big data technológiákat szeretnék felhasználni prediktív, preszkriptív és valós idejű elemzésekhez.

A képzés végére a résztvevők képesek lesznek:

• Nagy léptékű adatfeldolgozó folyamatok tervezésére és implementálására strukturált és strukturálatlan adatokhoz.
• Fejlett gépi tanulási és mélytanulási technikák alkalmazására hatalmas adathalmazokon.
• Elosztott számítási keretrendszerek kihasználására valós idejű elemzésekhez és adatstreamekhez.
• Big data elemzések integrálására üzleti intelligencia és döntéshozatali rendszerekbe.

A képzés formátuma

• Interaktív előadás és vita.
• Számos gyakorlat és gyakorlati feladat.
• Gyakorlati implementáció élő laboratóriumi környezetben.

Kurzus testreszabási lehetőségek

• Ha testreszabott képzést szeretne kérni ehhez a kurzushoz, kérjük, lépjen kapcsolatba velünk.

Ez az oktató által vezetett, élő képzés Bács-Kiskun-ben (online vagy helyszíni) középszintű IT szakembereknek szól, akik átfogó ismereteket szeretnének szerezni az IBM DataStage-ről mind rendszergazdai, mind fejlesztői szempontból, lehetővé téve számukra, hogy hatékonyan kezeljék és használják ezt az eszközt a saját munkahelyükön.

A képzés végére a résztvevők képesek lesznek:

• Megérteni a DataStage alapvető fogalmait.
• Megtanulni, hogyan telepítsék, konfigurálják és kezeljék hatékonyan a DataStage környezeteket.
• Kapcsolódni különböző adatforrásokhoz és hatékonyan kinyerni az adatokat adatbázisokból, sima fájlokból és külső forrásokból.
• Hatékony adatbetöltési technikákat implementálni.

Ez az oktató által vezetett, élő képzés Bács-Kiskun-ben (online vagy helyszíni) kezdő és középhaladó szintű rendszergazdáknak szól, akik Spark klaszterek üzembe helyezését, karbantartását és optimalizálását szeretnék elsajátítani.

A képzés végére a résztvevők képesek lesznek:

• Az Apache Spark telepítésére és konfigurálására különböző környezetekben.
• Klaszter erőforrások kezelésére és Spark alkalmazások monitorozására.
• Spark klaszterek teljesítményének optimalizálására.
• Biztonsági intézkedések bevezetésére és magas rendelkezésre állás biztosítására.
• Gyakori Spark hibák elhárítására és hibakeresésére.

A résztvevők, akik elvégzik ezt az oktató által vezetett, élő képzést Bács-Kiskun-ben, gyakorlati, valós világbeli megértést szereznek a Big Data és az ahhoz kapcsolódó technológiák, módszerek és eszközök terén.

A résztvevőknek lehetőségük lesz ezt a tudást gyakorlatba ültetni gyakorlati feladatokon keresztül. A csoportos interakció és az oktatói visszajelzés fontos részei a kurzusnak.

A kurzus a Big Data alapfogalmainak bemutatásával kezdődik, majd az adatelemzéshez használt programozási nyelvekbe és módszerekbe vezet be. Végül megvitatjuk azokat az eszközöket és infrastruktúrákat, amelyek lehetővé teszik a Big Data tárolását, elosztott feldolgozását és skálázhatóságát.

Ebben az oktató által vezetett, élő képzésben Bács-Kiskun, a résztvevők megtanulják, hogyan használhatják a Pythont és a Sparkot együtt nagy adatok elemzéséhez, miközben gyakorlati feladatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Megtanulják, hogyan használhatják a Sparkot Pythonnal nagy adatok elemzéséhez.
• Valós eseteket utánzó gyakorlatokon dolgoznak.
• Különböző eszközöket és technikákat használnak nagy adatok elemzéséhez a PySpark segítségével.

Célközönség:

A képzés azon IT szakemberek számára készült, akik megoldást keresnek nagy adathalmazok tárolására és feldolgozására elosztott rendszerkörnyezetben.

Cél:

Mélyreható ismeretek szerezése a Hadoop klaszter adminisztrációjáról.

A technológiai fejlődés és az információmennyiség növekedése átalakítja a működést sok iparágban, beleértve a kormányzást is. A kormányzati adatok előállítása és digitális archiválás sebessége fokozódik az okostelefonok, alkalmazások, okos érzékelők és eszközök, felhőalapú megoldások valamint polgár-megközelítésű portálok gyors növekedése miatt. Ahogy a digitális információ bonyolultabbá válik, az információkezelés, feldolgozás, tárolása, biztonsága és elhelyezése is komplexebbé válik. Új felvételi, keresési, felfedezési és elemző eszközök segítenek a szervezeteknek értelmezni az unstruktúrizált adatokat. A kormányzati piac egy fordulóponton áll: a szereplők megértik, hogy az információ stratégiai eszköz, és a kormányzatnak biztosítania, kihasználnia és elemeznie kell mind az struktúrizált, mind az unstruktúrizált adatokat, hogy hatékabban szolgálja polgárai igényeit és teljesítse a feladataikat. Ahogy a kormányzati vezetők az adattal megerősített szervezetek kiépítését célozzák, alapozzák le a folyamatok, emberek, információk és események közötti összefüggések felmérésére vonatkozó rendszereket.

Az értékalkotó kormányzati megoldások a legravítóbb technológiák kombinációjából jöttek létre:

• Okostelefonok és alkalmazások
• Felhőszolgáltatások
• Szociális üzleti technológiák és hálózatok
• Big Data és elemző eszközök

A Big Data az okos ipari megoldások egyike, amely lehetővé teszi a kormányzat számára, hogy jobb döntéseket hozzon a nagy mennyiségű adatok (struktúrizált és unstruktúrizált) elemzésével.

Azonban ezek elérése sokkal több, mint csak a vastag adatmennyiségek gyűjtése. “A nagy mennyiségű Big Data értelmezéséhez szükség van végzetes eszközökre és technológiákra, amelyek képesek analizálni és hasznos ismereteket vonni a sokfajtányú adatáramokból,” írta Tom Kalil és Fen Zhao a White House Office of Science and Technology Policy blogjában.

A Biały Ház egy lépéssel közelebb került a technológiák megkereséséhez, amikor 2012-ben létrehozta a Nemzeti Big Data Kutatási és Fejlesztési Kezdeményzetet. A kezdeményezés során több mint 200 millió dollárt szántak a nagy mennyiségű adat felbukkanásának kihasználásához és az adatelemzéshez szükséges eszközök fejlesztésére.

A Big Data által felvetett kihívások ugyanúgy döntőek, mint a hozzá kapcsolódó lehetőségek eredményesei. Az adattárolás hatékony módja egy ilyen kihívás. Ahogy mindig, a költségvetés korlátozott, ezért a szervezetek minimalizálni kellnek az MB-onkénti tárhellyel és könnyen elérhetővé kell tenniük az adatokat, hogy a felhasználók bármikor és úgy is elérhessék őket, ahogy szükségük van rá.

Az adatelemzés hatékonyságának biztosítása egy másik nagy kihívás. Sok szervezet használkodik kereskedelmi eszközökhöz, amelyek lehetővé teszik számukra a hatalmas mennyiségű adatok átverését, olyan trendek felmérésével, amelyek segítenek hatékabban működni. (Egy MeriTalk legutóbbi tanulmány alapján a föderális IT vezetők úgy vélik, hogy a Big Data segíthet az ügynökségeknek több mint 500 milliárd dollárt megtakarni, miközben teljesítik feladataikat.).

A kormányzatok számára fejlesztett Big Data eszközök is segítenek az adatelemzésre vonatkozó igényeik betartásában. Például az Oak Ridge Nemzeti Laboratórium Számítógépes Adatanalitika Csoportja a Piranha adatelemző rendszert más szervezetek számára elérhetővé tette. A rendszer segíthetett orvosi kutatóknek egy olyan kapcsolat felfedezésében, amely előre jelezni tudja a hajócsövör nyúlásokat mielőtt azok bekövetkeznek. Hasznosítják ezt a rendszert egyszerűbb feladatokra is, mint például a személyzet összekapcsolása álláspozíciókkal.

1. nap - áttekintést nyújt a Big Data lényeges témakörökről magas szinten. A modul egy sorozat szakaszra van osztva, mindegyikhez egy gyakorlati feladat tartozik.

2. nap - kutatja a Big Data környezetekhez kapcsolódó analízis gyakorlatokat és eszközöket. Nem mélyül az implementáció vagy programozási részletekbe, hanem a Big Data megoldások által nyújtott közösen analízis funkciók és jellemzők megértésére koncentrál, így a résztvevők általános megértése biztosítható.

3. nap - áttekintést nyújt a Big Data megoldásplatform-architektúrához kapcsolódó alapvető és lényeges témakörökről. Azokat a Big Data mechanizmusokat mutatja be, amelyek szükségesek egy Big Data megoldásplatform kifejlesztéséhez, valamint a adatfeldolgozó platform összeállításának architektúrai lehetőségeit. Jelenlegi gyakorlatokat is bemutatunk, hogy alapvető ismereteket nyújtsunk egy Big Data megoldásplatform használatáról.

4. nap - épül tovább a 3. napon, olyan előrehaladott témakörök kutatásával, amelyek kapcsolódnak a Big Data megoldásplatform-architektúrához. Megismertetjük és megvitathatjuk a különböző architektúrai rétegeket, amelyek alkotják a Big Data megoldásplatformot, beleértve az adatforrásokat, az adatbevitelt, az adattárolást, az adatfeldolgozást és a biztonságot.

5. nap - különböző gyakorlatokat és problémákat tartalmaz, amelyek tesztelik a delegáltak képességet arra, hogy a 3. és 4. napokon tárgyalt témákhoz kapcsolódó ismereteiket alkalmazzák.

A big data analytics magában foglalja a nagy mennyiségű és változatos adathalmazok elemzésének folyamatát, hogy felfedezzünk korrelációkat, rejtett mintákat és egyéb hasznos betekintéseket.

Az egészségügyi ipar rendelkezik hatalmas mennyiségű, összetett és heterogén orvosi és klinikai adattal. A big data analytics alkalmazása az egészségügyi adatokon hatalmas potenciállal bír a megállapítások levonásában az egészségügyi ellátás javítása érdekében. Azonban ezeknek az adathalmazoknak a hatalmas mérete nagy kihívásokat jelent az elemzésekben és a gyakorlati alkalmazásokban egy klinikai környezetben.

Ebben az oktató által vezetett, élő képzésen (távolról) a résztvevők megtanulják, hogyan végezzenek big data analytics-t az egészségügyben, miközben egy sor gyakorlati, élő laborfeladaton keresztül haladnak.

A képzés végére a résztvevők képesek lesznek:

• Telepíteni és konfigurálni a big data analytics eszközöket, mint például a Hadoop MapReduce és a Spark
• Megérteni az orvosi adatok jellemzőit
• Big data technikákat alkalmazni az orvosi adatok kezelésére
• Big data rendszereket és algoritmusokat tanulmányozni az egészségügyi alkalmazások kontextusában

Közönség

• Fejlesztők
• Adattudósok

A képzés formátuma

• Részben előadás, részben vita, gyakorlatok és intenzív gyakorlati munka.

Megjegyzés

• Ha testre szabott képzést kérne ehhez a kurzushoz, kérjük, lépjen kapcsolatba velünk a megbeszélés érdekében.

Ebben az oktató által vezetett, élő képzésen Bács-Kiskun, a résztvevők megismerik a Big Data technológiákhoz való hozzáállást, felmérik ezek hatását a meglévő folyamatokra és irányelvekre, és ezeket a technológiákat bevezetik a bűncselekmények azonosítása és a bűnmegelőzés érdekében. Világszerte különböző rendőrségi szervezetek esettanulmányait vizsgáljuk meg, hogy betekintést nyerjünk azok bevezetési módszereibe, kihívásaiba és eredményeibe.

A képzés végére a résztvevők képesek lesznek:

• Összekapcsolni a Big Data technológiákat a hagyományos adatgyűjtési folyamatokkal, hogy történetet állítsanak össze egy nyomozás során.
• Ipari Big Data tárolási és feldolgozási megoldásokat implementálni az adatelemzéshez.
• Javaslatot készíteni a legmegfelelőbb eszközök és folyamatok bevezetésére, hogy lehetővé tegyék az adatvezérelt megközelítést a bűnügyi nyomozásban.

A Big Data egy olyan kifejezés, amely a nagy adathalmazok tárolására és feldolgozására szánt megoldásokat jelenti. Kezdetben a Google által kifejlesztett, ezek a Big Data megoldások fejlődtek tovább és más hasonló projektekhez is ihletet adtak, amelyek közül szoftverek nyílt forráskódúak. Az R egy népszerű programozási nyelv a pénzügyi iparban.

Amikor a hagyományos tárolási technológiák nem tudják kezelni a tárolandó adatok mennyiségét, több száz alternatíva áll rendelkezésre. Ez a kurzus igyekszik útmutatást nyújtani a résztvevőknek, hogy milyen alternatívák állnak rendelkezésre a Big Data tárolására és elemzésére, valamint mik azok előnyei és hátrányai.

A kurzus főleg megbeszélésekre és megoldások bemutatására összpontosít, bár gyakorlati feladatok igény szerint elérhetők.

A kurzus a Data Scientist készségkészlet része (Tartomány: Adat és Technológia).

Ez a tantermi képzés a Big Data témakörét vizsgálja. A résztvevők számítógépes példákon és esettanulmányokon keresztül ismerkedhetnek meg a releváns big data eszközökkel.

Közönség

Ha próbál értelmet adni az Ön rendelkezésére álló adatoknak, vagy szeretne elemezni a hálózaton elérhető strukturálatlan adatokat (például Twitter, LinkedIn stb.), akkor ez a kurzus Önnek szól.

Főként döntéshozóknak és azoknak szól, akiknek el kell dönteniük, hogy mely adatokat érdemes gyűjteni és elemezni.

Nem azoknak szól, akik a megoldás konfigurálásával foglalkoznak, bár ők is profitálhatnak a nagy képletből.

Kurzus lebonyolítása

A kurzus során a résztvevők főként nyílt forráskódú technológiák működő példáit láthatják.

A rövid előadásokat a résztvevők bemutatói és egyszerű gyakorlatai követik.

Tartalom és használt szoftverek

A használt szoftverek minden alkalommal frissülnek, így a legújabb verziókat ellenőrizzük.

A kurzus az adatok beszerzésétől, formázásától, feldolgozásán és elemzésén keresztül a gépi tanulás segítségével történő döntéshozatal automatizálásának magyarázatáig terjed.

A big data olyan adathalmazokat jelöl, amelyek olyan terjedelmesek és összetettek, hogy a hagyományos adatfeldolgozó alkalmazás szoftverek nem képesek kezelni őket. A big data kihívásai közé tartozik az adatgyűjtés, adattárolás, adatelemzés, keresés, megosztás, átvitel, vizualizáció, lekérdezés, frissítés és az adatvédelem.

Az Apache Hadoop a legnépszerűbb keretrendszer a Big Data feldolgozására szerverklasztereken. Ezen a három (opcionálisan négy) napos tanfolyamon a résztvevők megismerik a Hadoop és az ökoszisztémája üzleti előnyeit és használati eseteit, hogyan tervezhetik meg a klaszter üzembe helyezését és bővítését, valamint hogyan telepíthetik, karbantarthatják, monitorozhatják, hibaelháríthatják és optimalizálhatják a Hadoopot. Gyakorolni fogják a klaszter tömeges adatbetöltését, megismerkednek a különböző Hadoop disztribúciókkal, valamint gyakorolni fogják a Hadoop ökoszisztéma eszközeinek telepítését és kezelését. A tanfolyam a klaszter biztonságossá tételéről szóló vitával zárul, amelyben a Kerberos kerül bemutatásra.

“…Az anyagok nagyon jól elkészítettek és alaposak voltak. A laborok nagyon hasznosak és jól szervezettek voltak.”
— Andrew Nguyen, Főbb integrációs DW mérnök, Microsoft Online Advertising

Célközönség

Hadoop rendszergazdák

Formátum

Előadások és gyakorlati laborok, megközelítőleg 60% előadás, 40% labor.

Az Apache Hadoop a legnépszerűbb keretrendszer a Big Data feldolgozására szerverklasztereken. Ez a kurzus bemutatja a fejlesztőknek a Hadoop ökoszisztéma különböző összetevőit (HDFS, MapReduce, Pig, Hive és HBase).

Az Apache Hadoop az egyik legnépszerűbb keretrendszer nagy adatok feldolgozására szerverklasztereken. Ez a kurzus a HDFS-ben való adatkezelésbe, valamint a haladó Pig, Hive és HBase használatába mélyül bele. Ezek a haladó programozási technikák hasznosak lehetnek tapasztalt Hadoop fejlesztők számára.

Célközönség: fejlesztők

Időtartam: három nap

Formátum: előadások (50%) és gyakorlati laborok (50%).

Célközönség:

Ez a kurzus célja, hogy demisztifikálja a big data/hadoop technológiát, és megmutassa, hogy nem nehéz megérteni.

Ez az oktató által vezetett, élő képzés Bács-Kiskun (online vagy helyszíni) rendszergazdáknak szól, akik meg szeretnének tanulni, hogyan állíthatnak üzembe, helyezhetnek üzembe és kezelhetnek Hadoop klasztereket szervezetükön belül.

A képzés végére a résztvevők képesek lesznek:

• Az Apache Hadoop telepítésére és konfigurálására.
• A Hadoop ökoszisztéma négy fő komponensének megértésére: HDFS, MapReduce, YARN és Hadoop Common.
• A Hadoop Distributed File System (HDFS) használatára a klaszter százakra vagy ezrekre történő skálázásához.
• A HDFS beállítására, hogy tárolómotorként működjön helyszíni Spark üzemelő példányokhoz.
• A Spark beállítására alternatív tárolási megoldásokhoz, mint az Amazon S3 és NoSQL adatbázis-rendszerek, például Redis, Elasticsearch, Couchbase, Aerospike stb.
• Adminisztratív feladatok végrehajtására, mint az Apache Hadoop klaszter kiépítése, kezelése, monitorozása és biztonságba helyezése.

Ez a kurzus bemutatja a HBase-t, egy NoSQL adattárolót a Hadoop rendszeren. A kurzus célközönsége a HBase-t alkalmazásfejlesztéshez használó fejlesztők és a HBase klasztereket kezelő rendszergazdák.

A kurzus során bemutatjuk a HBase architektúráját, az adatmodellezést és az alkalmazásfejlesztést a HBase-en. Szó lesz a MapReduce használatáról a HBase-szel, valamint néhány adminisztrációs témáról, amelyek a teljesítményoptimalizálással kapcsolatosak. A kurzus nagyon gyakorlatias, számos laborgyakorlattal.

Időtartam: 3 nap

Célközönség: Fejlesztők és rendszergazdák

Ebben az oktató által vezetett, élő képzésben Bács-Kiskun (helyszíni vagy távoli), a résztvevők megtanulják, hogyan állíthatnak be és integrálhatnak különböző Stream Processing keretrendszereket a meglévő big data tárolórendszerekhez és kapcsolódó szoftveralkalmazásokhoz és mikroszolgáltatásokhoz.

A képzés végére a résztvevők képesek lesznek:

• Különböző Stream Processing keretrendszereket telepíteni és konfigurálni, például a Spark Streaminget és a Kafka Streaminget.
• Megérteni és kiválasztani a legmegfelelőbb keretrendszert a feladathoz.
• Folyamatosan, párhuzamosan és rekordonként feldolgozni az adatokat.
• Stream Processing megoldásokat integrálni a meglévő adatbázisokkal, adatraktárakkal, adattavakkal stb.
• A legmegfelelőbb stream processing könyvtárat integrálni a vállalati alkalmazásokkal és mikroszolgáltatásokkal.

Ez az oktató által vezetett, élő képzés Bács-Kiskun-ben (online vagy helyszíni) azoknak szól, akik technikai személyekként szeretnének megtanulni, hogyan implementáljanak egy gépi tanulási stratégiát a big data maximális kihasználásával.

A képzés végén a résztvevők képesek lesznek:

• Megérteni a gépi tanulás fejlődését és trendjeit.
• Tudni, hogyan használják a gépi tanulást különböző iparágakban.
• Megismerni az eszközöket, készségeket és szolgáltatásokat, amelyek segítségével gépi tanulást lehet implementálni egy szervezeten belül.
• Megérteni, hogyan használható a gépi tanulás az adatbányászat és elemzés fokozására.
• Megtanulni, mi az adatközépső háttérrendszer, és hogyan használják a vállalatok.
• Megérteni a big data és az intelligens alkalmazások szerepét az iparágakban.

Az Apache NiFi egy nyílt forráskódú, folyamalapú adatintegrációs és eseményfeldolgozó platform. Lehetővé teszi az automatizált, valós idejű adatirányítást, átalakítást és rendszerközvetítést különböző rendszerek között, webalapú felhasználói felülettel és részletes ellenőrzéssel.

Ez az oktató által vezetett, élő képzés (helyszíni vagy távoli) középszintű rendszergazdáknak és mérnököknek szól, akik szeretnék üzembe helyezni, kezelni, biztosítani és optimalizálni a NiFi adatfolyamokat éles környezetekben.

A képzés végére a résztvevők képesek lesznek:

• Apache NiFi klaszterek telepítése, konfigurálása és karbantartása.
• Adatfolyamok tervezése és kezelése különböző forrásokból és célokból.
• Folyamat automatizálás, irányítás és átalakítási logika implementálása.
• Teljesítmény optimalizálása, műveletek monitorozása és hibák elhárítása.

A képzés formátuma

• Interaktív előadás valós világi architektúrák megvitatásával.
• Gyakorlati laborok: folyamok építése, üzembe helyezése és kezelése.
• Forgatókönyv alapú gyakorlatok élő labor környezetben.

Kurzus testreszabási lehetőségek

• Ha testreszabott képzést szeretne kérni ehhez a kurzushoz, kérjük, lépjen kapcsolatba velünk.

Ezen oktatóvezetésű, élő képzés során Bács-Kiskun a résztvevők megismerik a folyamatalapú programozás alapjait, miközben számos demó kiterjesztést, komponenst és processzort fejlesztenek az Apache NiFi segítségével.

A képzés végére a résztvevők képesek lesznek:

• Megérteni a NiFi architektúráját és az adatfolyam koncepcióit.
• Kiterjesztéseket fejleszteni a NiFi és harmadik féltől származó API-k használatával.
• Saját Apache NiFi processzort fejleszteni.
• Valós idejű adatokat betölteni és feldolgozni különböző és szokatlan fájlformátumokból és adatforrásokból.

Ez az oktató által vezetett, élő képzés Bács-Kiskun-ben (online vagy helyszíni) azoknak az adattudósoknak szól, akik a SMACK stack használatával szeretnének adatfeldolgozó platformokat építeni big data megoldásokhoz.

A képzés végére a résztvevők képesek lesznek:

• Adatfolyam architektúra implementálása big data feldolgozáshoz.
• Klaszter infrastruktúra fejlesztése Apache Mesos és Docker segítségével.
• Adatelemzés Spark és Scala használatával.
• Strukturálatlan adatok kezelése Apache Cassandra segítségével.

Ez az oktató által vezetett, élő képzés Bács-Kiskun-ben (online vagy helyszíni) azoknak a mérnököknek szól, akik szeretnék beállítani és üzembe helyezni az Apache Spark rendszert nagyon nagy mennyiségű adat feldolgozására.

A képzés végén a résztvevők képesek lesznek:

• Az Apache Spark telepítésére és konfigurálására.
• Gyorsan feldolgozni és elemezni nagyon nagy adathalmazokat.
• Megérteni az Apache Spark és a Hadoop MapReduce közötti különbséget, és eldönteni, mikor melyiket használják.
• Integrálni az Apache Sparkot más gépi tanulási eszközökkel.

Az Apache Spark tanulási görbéje kezdetben lassan emelkedik, sok erőfeszítés szükséges az első eredmények eléréséhez. Ez a kurzus célja, hogy átugorja a kezdeti nehézségeket. A kurzus elvégzése után a résztvevők megértik az Apache Spark alapjait, tisztán megkülönböztetik az RDD-t a DataFrame-től, elsajátítják a Python és Scala API-k használatát, megértik az executorokat és feladatokat stb. Továbbá, a legjobb gyakorlatok követésével, ez a kurzus erősen fókuszál a felhőbeli üzembe helyezésre, a Databricks-re és az AWS-re. A hallgatók megértik az AWS EMR és az AWS Glue közötti különbségeket, amely az AWS legújabb Spark szolgáltatása.

KÖZÖNSÉG:

Adatmérnök, DevOps, Adattudós

CÉL:

Ez a kurzus bemutatja az Apache Sparkot. A tanulók megismerik, hogyan illeszkedik a Spark a Big Data ökoszisztémába, és hogyan használható adatelemzésre. A kurzus magában foglalja a Spark shellt interaktív adatelemzéshez, a Spark belső működését, a Spark API-kat, a Spark SQL-t, a Spark streaminget, valamint a gépi tanulást és a GraphX-et.

CEGÉDSZEMÉLY:

Fejlesztők / Adatelemzők

Ez az oktató által vezetett, élő képzés Bács-Kiskun-ben (online vagy helyszíni) azoknak az adattudósoknak és fejlesztőknek szól, akik a Spark NLP-t, amely az Apache Spark-ra épül, szeretnék használni a természetes nyelvű szövegek feldolgozására szolgáló modellek és folyamatok fejlesztéséhez, megvalósításához és skálázásához.

A képzés végére a résztvevők képesek lesznek:

• Beállítani a szükséges fejlesztői környezetet a Spark NLP-vel történő NLP folyamatok építéséhez.
• Megérteni a Spark NLP funkcióit, architektúráját és előnyeit.
• Használni a Spark NLP-ben elérhető előre betanított modelleket a szövegfolyamatok megvalósításához.
• Megtanulni, hogyan lehet Spark NLP modelleket építeni, betanítani és skálázni termelési szintű projektekhez.
• Osztályozást, következtetést és érzelmek elemzését alkalmazni valós felhasználási esetekben (klinikai adatok, ügyfélviselkedési elemzések stb.).

A Spark SQL az Apache Spark modulja a strukturált és strukturálatlan adatok kezelésére. A Spark SQL információt nyújt az adatok szerkezetéről és a végrehajtott számításokról. Ez az információ felhasználható optimalizálások végrehajtására. A Spark SQL két gyakori használati módja:
- SQL lekérdezések végrehajtása.
- adatok olvasása egy meglévő Hive telepítésből.

Ebben az oktató által vezetett, élő képzésben (személyesen vagy távolról) a résztvevők megtanulják, hogyan elemezhetnek különböző típusú adathalmazokat a Spark SQL segítségével.

A képzés végére a résztvevők képesek lesznek:

• A Spark SQL telepítése és konfigurálása.
• Adatelemzés végrehajtása a Spark SQL segítségével.
• Különböző formátumú adathalmazok lekérdezése.
• Adatok és lekérdezési eredmények vizualizálása.

A képzés formátuma

• Interaktív előadás és vita.
• Számos gyakorlat és gyakorlati feladat.
• Gyakorlati implementáció élő laboratóriumi környezetben.

Kurzus testreszabási lehetőségek

• Ha testreszabott képzést szeretne kérni erre a kurzusra, kérjük, lépjen kapcsolatba velünk a megbeszélés érdekében.

Ez az oktató által vezetett, élő képzés Bács-Kiskun (online vagy helyszíni) technikai szakemberek számára készült, akik szeretnék a Talend Open Studio for Big Data használatával egyszerűsíteni a nagy adatok olvasásának és feldolgozásának folyamatát.

A képzés végén a résztvevők képesek lesznek:

• Telepíteni és konfigurálni a Talend Open Studio for Big Data-t.
• Kapcsolódni nagy adatrendszerekhez, mint a Cloudera, HortonWorks, MapR, Amazon EMR és Apache.
• Megérteni és beállítani az Open Studio nagy adat komponenseit és összekötőit.
• Paraméterek konfigurálása a MapReduce kód automatikus generálásához.
• Az Open Studio húzd és ejtsd felületének használata Hadoop feladatok futtatásához.
• Nagy adatcsatornák prototípusának készítése.
• Nagy adatintegrációs projektek automatizálása.