Big Data oktatás Magyarország

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) haladó szintű adatszakértőket céloz meg, akik szeretnék optimalizálni az adatfeldolgozási munkafolyamatokat, biztosítani szeretnék az adatok integritását, és olyan robusztus Data Lakehouse-megoldásokat valósítanak meg, amelyek képesek kezelni a modern nagyvállalatok összetettségeit. adatalkalmazások. A képzés végére a résztvevők képesek lesznek:

• Mélyreható ismereteket szerezhet az Iceberg architektúrájáról, beleértve a metaadatkezelést és a fájlelrendezést.
• Konfigurálja az Iceberget az optimális teljesítmény érdekében különböző környezetekben, és integrálja több adatfeldolgozó motorral.
• Nagyméretű Iceberg táblák kezelése, összetett sémamódosítások végrehajtása és partíciófejlődés kezelése.
• Mester technikák a lekérdezési teljesítmény és az adatolvasás hatékonyságának optimalizálására nagy adatkészletek esetén.
• Mechanizmusok megvalósítása az adatok konzisztenciájának biztosítására, a tranzakciós garanciák kezelésére és az elosztott környezetekben előforduló hibák kezelésére.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azon kezdő szintű adatszakértőknek szól, akik szeretnék megszerezni az Apache Iceberg hatékony felhasználásához szükséges ismereteket és készségeket a nagyméretű adatkészletek kezelésére, az adatok integritásának biztosítására, valamint az adatfeldolgozási munkafolyamatok optimalizálása. A képzés végére a résztvevők képesek lesznek:

• Alaposan ismerje meg az Apache Iceberg architektúráját, szolgáltatásait és előnyeit.
• Ismerje meg a táblázatformátumokat, a particionálást, a séma evolúcióját és az időutazási lehetőségeket.
• Telepítse és konfigurálja az Apache Iceberget különböző környezetekben.
• Iceberg táblák létrehozása, kezelése és manipulálása.
• Ismerje meg az adatok más táblázatformátumokból az Icebergbe történő migrálásának folyamatát.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) középszintű informatikai szakembereknek szól, akik szeretnék fejleszteni tudásukat az adatarchitektúra, az irányítás, a felhőalapú számítástechnika és a big data technológiák terén a nagy adatkészletek hatékony kezelése és elemzése érdekében. szervezetükön belüli adatmigrációhoz. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a különböző adatarchitektúrák alapfogalmait és összetevőit.
• Szerezzen átfogó ismereteket az adatkezelési elvekről és azok fontosságáról a szabályozási környezetben.
• Olyan adatkezelési keretrendszerek megvalósítása és kezelése, mint a Dama és a Togaf.
• Használja ki a felhőplatformokat a hatékony adattárolás, -feldolgozás és -kezelés érdekében.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) középszintű adatmérnököknek szól, akik szeretnék megtanulni, hogyan használják a Azure Data Lake Storage Gen2-t hatékony adatelemzési megoldásokhoz. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a Azure Data Lake Storage Gen2 architektúráját és főbb jellemzőit.
• Optimalizálja az adattárolást és a hozzáférést a költségek és a teljesítmény érdekében.
• Integrálja a Azure Data Lake Storage Gen2-t más Azure szolgáltatásokkal elemzési és adatfeldolgozási célokra.
• Megoldások fejlesztése a Azure Data Lake Storage Gen2 API használatával.
• A gyakori problémák elhárítása és a tárolási stratégiák optimalizálása.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a középszintű informatikai szakembereknek szól, akik szeretnének átfogó ismereteket szerezni az IBM DataStage-ről mind adminisztratív, mind fejlesztési szempontból, lehetővé téve számukra ennek kezelését és felhasználását. hatékony eszközt a saját munkahelyükön. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a DataStage alapfogalmait.
• Ismerje meg a DataStage környezetek hatékony telepítését, konfigurálását és kezelését.
• Csatlakozzon különféle adatforrásokhoz, és hatékonyan nyerje ki az adatokat adatbázisokból, egyszerű fájlokból és külső forrásokból.
• Hatékony adatbetöltési technikák alkalmazása.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.

Ez a tanfolyam ismerteti a Hive SQL nyelv használatát (AKA: Hive HQL, SQL on Hive , Hive QL) azok számára, akik adatokat Hive a Hive

This instructor-led, live training in Magyarország (online or onsite) is aimed at intermediate-level database administrators, developers, and analysts who wish to master advanced SQL functionalities for complex data operations and database management.By the end of this training, participants will be able to:

• Perform advanced querying techniques using unions, subqueries, and complex joins.
• Add, update, and delete data, tables, views, and indexes with precision.
• Ensure data integrity through transactions and manipulate database structures.
• Create and manage databases efficiently for robust data storage and retrieval.

A tudás felfedezése az adatbázisokban (KDD) a hasznos tudás felfedezésének folyamata az adatok gyűjtéséből. Az adatbányászat technikájának valós életű alkalmazásai közé tartozik a marketing, a csalás kimutatása, a távközlés és a gyártás. Ebben az oktató által vezetett, élő tanfolyamon bemutatjuk a KDD-ben részt vevő folyamatokat, és számos gyakorlatot végzünk az ilyen folyamatok végrehajtásának gyakorlására. közönség

• Adatelemzők vagy bárki, aki érdekli, hogy megtanulják, hogyan kell értelmezni az adatokat a problémák megoldására

A kurzus formája

• A KDD elméleti megbeszélése után az oktató bemutatja a valós élet eseteit, amelyek felkérik a KDD alkalmazását a probléma megoldására. A résztvevők előkészítik, kiválasztják és tisztítják a minta adatkészleteket, és az adatokkal kapcsolatos előzetes ismereteiket használják fel, hogy a megfigyeléseik eredményei alapján megoldásokat javasoljanak.

Apache Kylin egy szélsőséges, elosztott elemzési motor a nagy adatokhoz. Ebben az oktató által vezetett élő képzésben a résztvevők megtanulják, hogyan kell használni Apache Kylin egy valós idejű adattároló létrehozását. A képzés befejezése után a résztvevők képesek lesznek:

• Valós idejű streaming adatok fogyasztása a Kylin használatával
• Használja Apache Kylin's erőteljes funkciók,gazdag SQL interfész, spark fedés és másodlagos lekérdezés lassúság

Megjegyzések

• A Kylin legújabb verzióját használjuk (a jelen írás alapján, Apache Kylin v2.0)

közönség

• Big Data mérnökök
• Big Data Az elemzők

A kurzus formázása

• Részes előadások, részes viták, gyakorlatok és nehéz gyakorlatok

Dremio egy nyílt forráskódú " önkiszolgáló adatplatform", amely felgyorsítja a keresést a különböző típusú adatforrások. Dremio integrálja a relatív adatbázisok, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, és más adatforrások. Támogatja SQL és webes interfészet biztosít az építési lekérdezésekhez. Ebben az oktató által vezetett, élő képzésben a résztvevők megtanulják, hogyan kell telepíteni, konfigurálni és használni Dremio az adatelemzési eszközök és az alapvető adattárak egységes rétege. A képzés befejezése után a résztvevők képesek lesznek:

• Beállítása és beállítása Dremio
• Több adatforrásra vonatkozó lekérdezések végrehajtása, függetlenül a helyétől, méretétől vagy szerkezetétől
• Integrálja Dremio BI és adatforrások, mint például Tableau és Elasticsearch

közönség

• adattudósok
• Business Az elemzők
• Adatmérnökök

A kurzus formázása

• Részes előadások, részes viták, gyakorlatok és nehéz gyakorlatok

jegyzetek

• Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

Apache Arrow nyílt forráskódú, memórián belüli adatfeldolgozási keret. Gyakran más adattudományi eszközökkel együtt használják különféle adattárakhoz való hozzáféréshez elemzés céljából. Jól integrálódik más technológiákkal, mint például a GPU adatbázisok, gépi tanulási könyvtárak és eszközök, végrehajtó motorok és az adatok megjelenítésének keretei. A helyszíni oktatók által vezetett, élő képzésen a résztvevők megtanulják, hogyan lehet az Apache Arrow t különféle Data Science keretekkel integrálni, hogy eltérő adatforrásokból érhessenek el adatokat. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apache Arrow elosztott fürtözött környezetben
• Az Apache Arrow segítségével különféle adatforrásokból érheti el az adatokat
• Az Apache Arrow segítségével megkerülheti az összetett ETL csővezetékek építésének és karbantartásának szükségességét
• Elemezze az adatokat különálló adatforrások között anélkül, hogy össze kellene foglalnia azokat egy központi adattárba

Közönség

• Adattudósok
• Adatmérnökök

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

jegyzet

• Ha személyre szabott képzést szeretne kérni erre a kurzusra, kérjük vegye fel velünk a kapcsolatot, hogy megbeszélést szervezzen.

A szabályozók megfelelőségének kielégítése érdekében a CSP-k ( Communication szolgáltatók) igénybe vehetik a Big Data Analytics szolgáltatást, amelyek nemcsak segítenek számukra a megfelelés teljesítésében, hanem ugyanazon projekt keretein belül növelik az ügyfelek elégedettségét, és így csökkentik az igénybevételt. Valójában, mivel a megfelelés a szerződéshez kötött szolgáltatás minőségéhez kapcsolódik, a megfelelés teljesítésére irányuló minden kezdeményezés javítja a CSP „versenyképességét”. Ezért fontos, hogy a szabályozók képesek legyenek tanácsot adni / irányítani a CSP-k Big Data elemzési gyakorlatának sorozatát, amely a szabályozók és a CSP között kölcsönös előnyökkel jár. A tanfolyam 8 modulból áll (4 az 1. napon és 4 a 2. napon)

A technológiák fejlődése és a növekvő információmennyiség számos iparágban, köztük a kormányzatban is megváltoztatja az üzletvitelt. GoAz állami adatgenerálás és a digitális archiválás aránya növekszik a mobileszközök és alkalmazások, az intelligens érzékelők és eszközök, a felhőalapú számítástechnikai megoldások és a polgároknak szánt portálok gyors növekedése miatt. A digitális információk bővülésével és összetettebbé válásával az információkezelés, feldolgozás, tárolás, biztonság és selejtezés is egyre összetettebbé válik. Az új rögzítési, keresési, felfedezési és elemzési eszközök segítségével a szervezetek betekintést nyerhetnek strukturálatlan adataikból. A kormányzati piac egy fordulóponthoz ért, felismerve, hogy az információ stratégiai eszköz, és a kormányzatnak meg kell védenie, ki kell használnia és elemeznie kell a strukturált és a strukturálatlan információkat is, hogy jobban szolgálja és megfeleljen a küldetés követelményeinek. Miközben a kormányzati vezetők arra törekednek, hogy adatvezérelt szervezeteket fejlesszenek ki, hogy sikeresen teljesítsék küldetésüket, lefektetik az alapot az események, személyek, folyamatok és információk közötti függőségek korrelációjához.Nagy értékű kormányzati megoldások születnek a legrombolóbb technológiák halmazából:

Mobileszközök és alkalmazások Felhőszolgáltatások Társadalmi üzleti technológiák és hálózatépítés Big Data és elemzés

Az IDC előrejelzése szerint 2020-ra az IT-ipar eléri az 5 billió dollárt, ami körülbelül 1,7 billió dollárral nagyobb a jelenleginél, és az iparág növekedésének 80%-át ezek a 3. platformtechnológiák hajtják majd. Hosszú távon ezek a technológiák kulcsfontosságú eszközök lesznek a megnövekedett digitális információk összetettségének kezelésében. A Big Data az egyik intelligens iparági megoldás, és lehetővé teszi a kormányzat számára, hogy jobb döntéseket hozzon azáltal, hogy a nagy mennyiségű – kapcsolódó és független, strukturált és strukturálatlan – adatelemzés során feltárt minták alapján fellép.De ezeknek a bravúroknak a megvalósítása sokkal többre van szükség, mint egyszerűen hatalmas mennyiségű adat felhalmozása. „E Big Data-mennyiségek értelmezéséhez olyan élvonalbeli eszközökre és technológiákra van szükség, amelyek képesek elemezni és hasznos ismereteket kinyerni a hatalmas és sokrétű információáramokból” – mondta Tom Kalil és Fen Zhao, a Fehér Ház Tudományos és Technológiai Politikai Hivatalának munkatársa az OSTP Blogon írt bejegyzésében.A Fehér Ház tett egy lépést afelé, hogy segítsen az ügynökségeknek megtalálni ezeket a technológiákat, amikor 2012-ben létrehozta a Nemzeti Big Data Kutatási és Fejlesztési Kezdeményezést. A kezdeményezés több mint 200 millió dollárt tartalmazott a Big Data robbanásából és az ahhoz szükséges eszközökből. elemezze azt.A Big Data által jelentett kihívások majdnem olyan ijesztőek, mint amennyire az ígérete biztató. Az adatok hatékony tárolása az egyik ilyen kihívás. Mint mindig, a költségvetések szűkösek, ezért az ügynökségeknek minimálisra kell csökkenteniük a tárhely megabájtonkénti árát, és könnyű hozzáférést kell biztosítaniuk az adatokhoz, hogy a felhasználók akkor kaphassák meg, amikor és ahogyan szükségük van rá. A hatalmas mennyiségű adat biztonsági mentése fokozza a kihívást.Az adatok hatékony elemzése egy másik nagy kihívás. Sok ügynökség alkalmaz olyan kereskedelmi eszközöket, amelyek lehetővé teszik számukra, hogy átvizsgálják az adatok hegyeit, és felfedezzék azokat a trendeket, amelyek elősegíthetik a hatékonyabb működést. (A MeriTalk legutóbbi tanulmánya szerint a szövetségi informatikai vezetők úgy gondolják, Big Data segíthet az ügynökségeknek több mint 500 milliárd dolláros megtakarításban, miközben teljesíti a küldetés céljait.).Az egyedi fejlesztésű Big Data eszközök is lehetővé teszik az ügynökségek számára, hogy foglalkozzanak adataik elemzésével. Például az Oak Ridge National Laboratory Computational Data Analytics Group más ügynökségek számára is elérhetővé tette Piranha adatelemző rendszerét. A rendszer segített az orvoskutatóknak olyan kapcsolatot találni, amely figyelmeztetheti az orvosokat az aorta aneurizmáira, mielőtt azok fellépnének. A hétköznapibb feladatokhoz is használják, például az önéletrajzok áttanulmányozására, hogy összekapcsolják a jelölteket a munkaerő-felvételi vezetőkkel.

Ez az osztálytermi képzés a Big Data-t fogja feltárni. A küldöttek számítógépes példákkal és esettanulmányi gyakorlatokkal rendelkeznek, amelyeket a releváns big data eszközökkel végezhetnek el

1. nap - magas szintű áttekintést nyújt az alapvető Big Data területéről. A modul szekciók sorozatára oszlik, amelyek mindegyikét gyakorlati gyakorlat kísérik. 2. nap - a Big Data környezetek elemzési gyakorlataival és eszközeivel kapcsolatos témaköröket vizsgálja. Nem kerül be a megvalósításba vagy programozási részletekbe, hanem a fogalom szintjén tartja a lefedettséget, és olyan témákra összpontosít, amelyek lehetővé teszik a résztvevők számára a Big Data megoldások által kínált közös elemzési funkciók és funkciók átfogó megértését. 3. nap - áttekintést ad a Big Data megoldás platform architektúrájához kapcsolódó alapvető és alapvető témakörökről. Magában foglalja a Big Data megoldások platformjának és az adatfeldolgozó platform összeszereléséhez szükséges architekturális lehetőségek fejlesztéséhez szükséges Big Data mechanizmusokat. Gyakori forgatókönyvek is bemutatásra kerülnek, hogy alapvető ismereteket kapjanak arról, hogyan használják általában a Big Data megoldást. 4. nap - a 3. napra építve a Big Data megoldás platform architektúrájához kapcsolódó fejlett témák feltárásával. Különösen a Big Data megoldás platformját alkotó különböző építészeti rétegeket ismertetik és tárgyalják, beleértve az adatforrásokat, az adatok bejutását, az adatok tárolását, az adatfeldolgozást és a biztonságot. Az 5. nap számos olyan gyakorlattal és problémával foglalkozik, amelyek célja, hogy teszteljék a küldöttek azon képességét, hogy a 3. és 4. napra vonatkozó témaköröket tudják alkalmazni.

A technológiai fejlődés és a növekvő információmennyiség átalakítja a bűnüldözés végrehajtását. A kihívások, amelyeket a Big Data jelent, majdnem olyan félelmetes, mint a Big Data ígéretét. Az adatok hatékony tárolása az egyik ilyen kihívás; ez egy másik elemzés. Ebben oktató által vezetett, az élő képzés, a résztvevők megtanulják a gondolkodásmód, amellyel megközelíteni Big Data technológiák azok hatásának értékelése a meglévő folyamatok és politikák, és alkalmazza ezeket a technológiákat azonosítása céljából bűncselekmények és a bűncselekmények megelőzésére. A világ minden részén működő rendészeti szervezetek esettanulmányait megvizsgálják, hogy betekintést nyerjenek elfogadási megközelítéseikbe, kihívásaiba és eredményeikbe. A képzés végére a résztvevők képesek lesznek:

• Kombinálja a Big Data technológiát a hagyományos adatgyűjtési folyamatokkal, hogy egy történetet összeállítson a nyomozás során
• Ipari nagy adattárolási és -feldolgozási megoldások végrehajtása az adatok elemzéséhez
• Készítsen elő javaslatot a bűnügyi nyomozás adatközpontú megközelítését lehetővé tevő legmegfelelőbb eszközök és folyamatok elfogadására

Közönség

• Rendészeti szakemberek műszaki háttérrel

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Big Data olyan kifejezés, amely nagy adathalmazok tárolására és feldolgozására szánt megoldásokra vonatkozik. A Go ogle által kifejlesztett Big Data megoldások más hasonló projekteket fejlesztettek ki és inspiráltak, amelyek közül sok nyílt forráskódú. Az R egy népszerű programozási nyelv a pénzügyi ágazatban.

Ha a hagyományos tárolási technológiák nem kezelik a tárolni kívánt adatmennyiséget, alternatívák vannak. Ez a kurzus megpróbálja irányítani a résztvevőket, hogy milyen lehetőségek állnak rendelkezésre a Big Data tárolására és elemzésére, és mi a saját előnye és hátránya. Ez a kurzus többnyire a megoldások megvitatására és bemutatására összpontosít, bár a gyakorlati gyakorlatok igény szerint rendelkezésre állnak.

A kurzus a Data Scientist készségkészlet része (Domain: Data and Technology).

Közönség Ha megpróbálja megérteni az adatokból, amelyekhez hozzáférhet, vagy elemezni kívánja a net strukturált adatokat (például Twitter, Linked in, stb.), Ez a kurzus az Ön számára. Leginkább a döntéshozóknak és azoknak az embereknek szól, akiknek ki kell választaniuk, hogy milyen adatokat érdemes gyűjteni és mit érdemes elemezni. Nem a megoldást konfiguráló emberekre irányul. Szállítási mód A tanfolyam során a küldöttek többnyire nyílt forráskódú technológiákkal foglalkozó példákat mutatnak be. A rövid előadásokat előadások és egyszerű gyakorlatok követik a résztvevők Tartalom és szoftver Minden használt szoftver frissül minden alkalommal, amikor a kurzust futtatják, így ellenőrizzük a legújabb verziókat. Ez az adatgyűjtés, -formázás, -feldolgozás és -elemzés folyamatát foglalja magában, hogy elmagyarázza, hogyan automatizálható a döntéshozatali folyamat a gépi tanulással.

A nagy adat olyan adatkészletek, amelyek annyira terjedelmesek és összetettek, hogy a hagyományos adatfeldolgozó alkalmazásszoftverek nem megfelelőek ezek kezelésére. A nagy adat kihívások között szerepel az adatok rögzítése, az adatok tárolása, az adatok elemzése, a keresés, a megosztás, az átvitel, a megjelenítés, a lekérdezés, a frissítés és az adatvédelem.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a műszaki szakembereknek szól, akik szeretnék megtanulni, hogyan valósítsák meg a gépi tanulási stratégiát, miközben maximalizálják a big data felhasználását.A képzés végére a résztvevők:

• Ismerje meg a gépi tanulás fejlődését és trendjeit.
• Ismerje meg, hogyan használják a gépi tanulást a különböző iparágakban.
• Ismerkedjen meg a gépi tanulás szervezeten belüli megvalósításához rendelkezésre álló eszközökkel, készségekkel és szolgáltatásokkal.
• Ismerje meg, hogyan használható a gépi tanulás az adatbányászat és -elemzés javítására.
• Ismerje meg, mi az a középső adatátviteli háttérrendszer, és hogyan használják azt a vállalkozások.
• Ismerje meg a big data és az intelligens alkalmazások szerepét az iparágakban.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a szoftvermérnököknek szól, akik a Sqoop-ot és a Flume-ot szeretnék használni nagy adatokhoz.A képzés végére a résztvevők képesek lesznek:

• Fogyasszon nagy adatokat a Sqoop és a Flume segítségével.
• Adatok feldolgozása több adatforrásból.
• Adatok áthelyezése relációs adatbázisokból HDFS-be és Hive-ba.
• Exportáljon adatokat a HDFS-ből egy relációs adatbázisba.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a műszaki személyeknek szól, akik szeretnék telepíteni az Talend Open Studio for Big Data alkalmazást, hogy leegyszerűsítsék a Big Data olvasásának és feldolgozásának folyamatát.A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Talend Open Studio for Big Data alkalmazást.
• Csatlakozzon olyan Big Data rendszerekhez, mint a Cloudera, a HortonWorks, a MapR, az Amazon EMR és az Apache.
• Ismerje meg és állítsa be az Open Studio big data összetevőit és csatlakozóit.
• Konfigurálja a paramétereket a MapReduce kód automatikus generálásához.
• Használja az Open Studio fogd és vidd felületét a Hadoop-feladatok futtatásához.
• Nagy adatfolyamok prototípusa.
• Automatizálja a big data integrációs projekteket.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan kell Data Vault-et építeni. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg az Data Vault 2.0 mögött meghúzódó architektúra és tervezési koncepciókat, valamint annak interakcióját a Big Data, NoSQL és AI között.
• Használjon adattároló technikákat, hogy lehetővé tegye az adattárházban lévő előzményadatok auditálását, nyomon követését és ellenőrzését.
• Konzisztens és megismételhető ETL (Extract, Transform, Load) folyamat kialakítása.
• Építsen és telepítsen nagymértékben méretezhető és megismételhető raktárakat.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adatmérnököknek, adattudósoknak és programozóknak szól, akik a Spark Streaming funkciókat szeretnék használni a valós idejű adatok feldolgozásához és elemzéséhez. A képzés végére a résztvevők képesek lesznek a Spark Streaming segítségével feldolgozni az élő adatfolyamokat adatbázisokban, fájlrendszerekben és élő műszerfalakban.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik a Apache Kafka adatfolyam-feldolgozást kódírás nélkül szeretnék megvalósítani. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Confluent KSQL-t.
• Állítson be egy adatfolyam-feldolgozási folyamatot csak SQL parancsok használatával (nincs Java vagy Python kódolás).
• Végezzen adatszűrést, átalakításokat, összesítést, összekapcsolást, ablakozást és szekciózást teljes egészében a SQL-ben.
• Interaktív, folyamatos lekérdezések tervezése és üzembe helyezése az ETL és a valós idejű elemzések streameléséhez.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik szeretnék megtanulni a tartós és tiszta memóriában való tárolás mögött rejlő elveket, miközben egy minta memórián belüli számítástechnikai projektet készítenek. A képzés végére a résztvevők képesek lesznek:

• Használja az Ignite-ot a memórián belüli, a lemezen való megmaradáshoz, valamint egy tisztán elosztott memóriában lévő adatbázishoz.
• A tartósság elérése anélkül, hogy az adatokat visszaszinkronizálná egy relációs adatbázisba.
• Használja az Ignite-ot SQL és elosztott összekapcsolások végrehajtásához.
• Növelje a teljesítményt, ha közelebb helyezi az adatokat a CPU-hoz, és RAM-ot használ tárolóként.
• A vízszintes méretezhetőség elérése érdekében terítse el az adatkészleteket egy fürtben.
• Az Ignite integrálása RDBMS-sel, NoSQL, Hadoop és gépi tanulási processzorokkal.

Az Apache Beam egy nyílt forráskódú, egységes programozási modell párhuzamos adatfeldolgozási folyamatok meghatározására és végrehajtására. Ereje abban rejlik, hogy képes kötegelt és adatfolyam-folyamatokat is futtatni, a végrehajtást pedig a Beam egyik támogatott elosztott feldolgozási háttérrendszere hajtja végre: Apache Apex, Apache Flink, Apache Spark és Google Cloud Dataflow. Az Apache Beam olyan ETL (Extract, Transform, and Load) feladatoknál hasznos, mint például az adatok mozgatása különböző tárolóeszközök és adatforrások között, az adatok kívánatosabb formátumba való átalakítása és az adatok új rendszerbe való betöltése. Ezen az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan implementálják az Apache Beam SDK-kat egy Java vagy Python alkalmazásban, amely adatfeldolgozási folyamatot határoz meg a nagy adathalmazok kisebb darabokra bontásához. független, párhuzamos feldolgozáshoz. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja Apache Beam.
• Használjon egyetlen programozási modellt a kötegelt és adatfolyam-feldolgozás végrehajtásához a Java vagy Python alkalmazásból.
• Csővezetékek végrehajtása több környezetben.

A tanfolyam formátuma

• Rész előadás, részben beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Jegyzet

• Ez a tanfolyam a jövőben elérhető lesz Scala. Kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

A Apache Apex egy YARN-natív platform, amely egyesíti az adatfolyam- és kötegelt feldolgozást. A mozgásban lévő nagy adatokat skálázható, teljesítőképes, hibatűrő, állapottartó, biztonságos, elosztott és könnyen kezelhető módon dolgozza fel. Ez az oktató által vezetett, élő képzés bemutatja a Apache Apex egységes adatfolyam-feldolgozási architektúráját, és végigvezeti a résztvevőket egy elosztott alkalmazás létrehozásán az Apex segítségével a Hadoop-en. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg az adatfeldolgozási folyamat fogalmait, mint például a források és nyelők csatlakozói, az általános adatátalakítások stb.
• Építsen, méretezz és optimalizáljon Apex alkalmazást
• A valós idejű adatfolyamokat megbízhatóan és minimális késleltetéssel dolgozza fel
• Az Apex Core és az Apex Malhar könyvtár segítségével gyors alkalmazásfejlesztést tesz lehetővé
• Használja az Apex API-t a meglévő Java kód írásához és újrafelhasználásához
• Integrálja az Apex-et más alkalmazásokba feldolgozómotorként
• Hangolja, tesztelje és skálázza az Apex alkalmazásokat

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sok gyakorlat és gyakorlat.
• Gyakorlati megvalósítás élő labor környezetben.

Tanfolyam testreszabási lehetőségek

• Ha személyre szabott képzést szeretne kérni ehhez a tanfolyamhoz, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

A Apache Storm egy elosztott, valós idejű számítási motor, amelyet a valós idejű üzleti intelligencia lehetővé tételére használnak. Ezt úgy teszi, hogy lehetővé teszi az alkalmazások számára, hogy megbízhatóan feldolgozzák a korlátlan adatfolyamokat (más néven folyamfeldolgozás). "A Storm a valós idejű feldolgozásra szolgál, az Hadoop pedig a kötegelt feldolgozásra!" Ezen az oktató által vezetett élő tréningen a résztvevők megtanulják, hogyan kell telepíteni és konfigurálni a Apache Storm-t, majd kifejleszteni és telepíteni egy Apache Storm alkalmazást a nagy adatok valós idejű feldolgozására. A képzés néhány témája:

• Apache Storm az Hadoop összefüggésében
• Munkavégzés korlátlan adatokkal
• Folyamatos számítás
• Valós idejű elemzés
• Elosztott RPC és ETL feldolgozás

Kérje ezt a tanfolyamot most! Közönség

• Szoftver- és ETL-fejlesztők
• Mainframe szakemberek
• Adattudósok
• Big data elemzők
• Hadoop szakemberek

A tanfolyam formátuma

• Rész előadás, részben beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan telepítsék és kezeljék a Apache NiFi-t élő laborkörnyezetben. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apachi NiFi-t.
• Forrása, átalakítása és kezelése különböző, elosztott adatforrásokból, beleértve az adatbázisokat és a nagy adatforrásokat.
• Automatizálja az adatfolyamokat.
• Engedélyezze a streamelési elemzést.
• Alkalmazzon különféle megközelítéseket az adatfeldolgozáshoz.
• Alakítsa át Big Data üzleti betekintést.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják az áramlásalapú programozás alapjait, miközben számos demó-bővítményt, komponenst és processzort fejlesztenek a Apache NiFi segítségével. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit.
• Bővítmények fejlesztése NiFi és harmadik féltől származó API-k használatával.
• Egyedi fejlesztésű saját Apache Nifi processzort.
• Valós idejű adatok feldolgozása és feldolgozása eltérő és nem megszokott fájlformátumokból és adatforrásokból.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja az elosztott adatfolyam- és kötegelt adatfeldolgozás mögött meghúzódó elveket és megközelítéseket, és végigvezeti a résztvevőket egy valós idejű adatfolyam-alkalmazás létrehozásán a Apache Flink-ban. A képzés végére a résztvevők képesek lesznek:

• Környezet létrehozása adatelemző alkalmazások fejlesztéséhez.
• Ismerje meg, hogyan működik Apache Flink gráffeldolgozó könyvtára (Gelly).
• Flink-alapú, hibatűrő, adatfolyam-küldő alkalmazások becsomagolása, végrehajtása és figyelése.
• Változatos munkaterhelések kezelése.
• Végezzen haladó elemzést.
• Hozzon létre egy több csomópontból álló Flink-fürtöt.
• Mérje meg és optimalizálja a teljesítményt.
• Integrálja a Flink-et különböző Big Data rendszerekkel.
• Hasonlítsa össze a Flink képességeit más big data feldolgozó keretrendszerekkel.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megismerkedhetnek a technológiai kínálatokkal és a grafikonadatok feldolgozásának megvalósítási módszereivel. A cél a valós objektumok, jellemzőik és kapcsolataik azonosítása, majd a kapcsolatok modellezése és adatként való feldolgozása Graph Computing (más néven Graph Analytics) megközelítéssel. Kezdjük egy átfogó áttekintéssel, és leszűkítjük a konkrét eszközöket, miközben esettanulmányok, gyakorlati gyakorlatok és élő telepítések sorozatán lépkedünk végig. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a grafikonadatok megőrzését és bejárását.
• Válassza ki a legjobb keretrendszert egy adott feladathoz (a gráfadatbázisoktól a kötegelt feldolgozási keretrendszerekig).
• A Hadoop, a Spark, GraphX és a Pregel megvalósítása számos gépen párhuzamosan végezhet gráfszámítást.
• Tekintse meg a valós világban felmerülő big data problémákat grafikonok, folyamatok és bejárások formájában.

Ez a kurzus azoknak a fejlesztőknek és adattudósoknak szól, akik szeretnék megérteni és megvalósítani a mesterséges intelligenciát alkalmazásaikban. Különös hangsúlyt kap az adatelemzés, az elosztott mesterséges intelligencia és a természetes nyelvi feldolgozás.

Az MLlib a Spark gépi tanulási (ML) könyvtára. Célja, hogy a gyakorlati gépi tanulás méretezhető és egyszerű legyen. Közös tanulási algoritmusokból és segédprogramokból áll, beleértve a besorolást, a regressziót, a klaszterezést, az együttműködő szűrést, a dimenziócsökkentést, valamint az alacsonyabb szintű optimalizálási primitíveket és a magasabb szintű csővezeték API-kat. Ez két csomagra oszlik:

• A spark.mllib tartalmazza az RDD-re épített eredeti API-t.
• A spark.ml magasabb szintű API-t kínál, amely a DataFrames tetején épült ML-csővezetékek építéséhez.

Közönség Ez a tanfolyam olyan mérnökökre és fejlesztőkre irányul, akik egy beépített gépkönyvtárat kívánnak használni az Apache Spark

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja Hortonworks Data Platform (HDP)-et, és végigvezeti a résztvevőket a Spark + Hadoop megoldás bevezetésén. A képzés végére a résztvevők képesek lesznek:

• A Hortonworks segítségével megbízhatóan futtathatja a Hadoop-t nagy léptékben.
• Egyesítse a Hadoop biztonsági, irányítási és működési képességeit a Spark agilis analitikai munkafolyamataival.
• A Hortonworks segítségével vizsgálja meg, érvényesítse, hitelesítse és támogassa a Spark-projekt egyes összetevőit.
• Különböző típusú adatokat dolgozhat fel, beleértve a strukturált, strukturálatlan, mozgásban lévő és nyugalmi adatokat.

A Apache Ambari egy nyílt forráskódú felügyeleti platform az Apache Hadoop fürtök kiépítéséhez, kezeléséhez, figyeléséhez és biztosításához. Ezen az oktató által vezetett élő tréningen a résztvevők megtanulják az Ambari által biztosított menedzsment eszközöket és gyakorlatokat a Hadoop klaszterek sikeres kezeléséhez. A képzés végére a résztvevők képesek lesznek:

• Hozzon létre egy élő Big Data fürtöt az Ambari használatával
• Alkalmazza az Ambari speciális szolgáltatásait és funkcióit különféle felhasználási esetekben
• Szükség szerint zökkenőmentesen adhat hozzá és távolíthat el csomópontokat
• Növelje a Hadoop fürt teljesítményét hangolással és beállítással

Közönség

• DevOps
• Rendszergazdák
• DBA-k
• Hadoop tesztelő szakemberek

A tanfolyam formátuma

• Rész előadás, részben beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

A Cloudera Impala egy nyílt forráskódú, masszívan párhuzamos feldolgozású (MPP) SQL lekérdezőmotor Apache Hadoop fürtökhöz. A Impala lehetővé teszi a felhasználók számára, hogy alacsony késleltetésű SQL lekérdezéseket küldjenek a Hadoop Distributed File Systemben és az Apache Hbase-ben tárolt adatokhoz anélkül, hogy adatmozgatást vagy átalakítást kellene végezniük. Közönség Ez a kurzus azoknak az elemzőknek és adattudósoknak szól, akik a Hadoop-ban tárolt adatokon elemzik a Business Intelligence vagy SQL eszközöket. A tanfolyam után a küldöttek képesek lesznek

• A Impala segítségével nyerjen ki értelmes információkat a Hadoop klaszterekből.
• Írjon speciális programokat a Business Intelligencia megkönnyítésére a Impala SQL nyelvjárásban.
• Hibaelhárítás Impala.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azon építészeknek, fejlesztőknek és rendszergazdáknak szól, akik a Denodo platformot szeretnék használni az adatkezelés optimalizálására és felgyorsítására adatvirtualizáción keresztül. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Denodo platformot.
• Ismerje meg a Denodo platform jellemzőit és architektúráját.
• Ismerje meg az adatvirtualizáció kulcsfogalmait, előnyeit és használati eseteit.
• Ismerje meg a Denodo platformszerver konfigurálását és kezelését.
• Végezze el az adatbiztonságot, a felhasználói hozzáférést és a szolgáltatások hitelesítését.
• Alkalmazza az eszközöket és technikákat a műveletek figyeléséhez és a teljesítmény optimalizálásához.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adattudósoknak szól, akik a Apache Airflow segítségével szeretnék végpontok közötti adatfolyamokat felépíteni és kezelni. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Apache Airflow-t.
• Összetett adatfolyamok létrehozása, ütemezése és monitorozása
• Sok ETL kezelése (kivonás, kibontás, átalakítás, betöltés).
• Méretezés és biztonság Apache Airflow.

A Apache Hama a Bulk Synchronous Parallel (BSP) számítási modellen alapuló keretrendszer, amelyet elsősorban Big Data elemzésekhez használnak. Ezen az oktató által vezetett, élő képzésen a résztvevők megtanulják a Apache Hama alapjait, miközben egy BSP-alapú alkalmazást és egy csúcsközpontú programot készítenek a Apache Hama keretrendszer segítségével. A képzés végére a résztvevők képesek lesznek:

• Telepítés és konfigurálás Apache Hama
• Ismerje meg a Apache Hama és a Bulk Synchronous Parallel (BSP) programozási modell alapjait
• BSP alapú program készítése Apache Hama BSP keretrendszer használatával
• A Apache Hama Graph Framework segítségével csúcsközpontú programot készíthet
• Saját Apache Hama alkalmazásaik létrehozása, tesztelése és hibakeresése

Közönség

• Fejlesztők

A tanfolyam formátuma

• Rész előadás, részben beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Jegyzet

• Ha személyre szabott képzést szeretne kérni ehhez a tanfolyamhoz, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

Ez az oktató által vezetett, élő képzés bemutatja az interaktív adatelemzés mögött meghúzódó koncepciókat, és végigvezeti a résztvevőket a Zeppelin egy- vagy többfelhasználós környezetben történő bevezetésén és használatán. A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Zeppelint
• Adatok fejlesztése, rendszerezése, végrehajtása és megosztása böngésző alapú felületen
• Az eredmények megjelenítése anélkül, hogy a parancssorra vagy a fürt részleteire hivatkozna
• Hosszú munkafolyamatok végrehajtása és együttműködése
• Dolgozzon a számos beépülő nyelv/adatfeldolgozási háttérprogramok bármelyikével, például Scala (Apache Spark-val), Python (Apache Spark-val), Spark SQL, JDBC, Markdown és Shell .
• Integrálja a Zeppelint a Spark, Flink és Map Reduce funkcióval
• Biztonságos Zeppelin többfelhasználós példányok az Apache Shiro segítségével

A Apache Accumulo egy rendezett, elosztott kulcs/érték tároló, amely robusztus, méretezhető adattárolást és visszakeresést biztosít. Az Google's BigTable tervezésén alapul, és az Apache Hadoop, az Apache Zookeeper és az Apache Thrift hajtja. Ez az oktató által vezetett, élő kurzus az Accumulo működési elveit ismerteti, és végigvezeti a résztvevőket egy minta alkalmazás fejlesztésén a Apache Accumulo webhelyen. A tanfolyam formátuma

• Rész előadás, részben megbeszélés, gyakorlati fejlesztés és megvalósítás, alkalmankénti tesztek a megértés mérésére

Az Amazon Redshift egy petabytescale cloudbased adatraktár szolgáltatás az AWS-ben Ebben az oktatott, élő képzésben a résztvevők megtanulják az Amazon Redshift alapjait A képzés végére a résztvevők képesek lesznek: Telepítse és konfigurálja az Amazon Redshift programot Adatok betöltése, konfigurálása, telepítése, lekérdezése és megjelenítése az Amazon Redshift segítségével Közönség Fejlesztők Informatikai szakemberek A tanfolyam formátuma Részelőadás, vitafórumok, gyakorlatok és nehéz handson gyakorlat jegyzet Ha erre a kurzusra személyre szabott képzést szeretne kérni, kérjük, vegye fel velünk a kapcsolatot .

Apache Druid egy nyílt forrású, oszlop-orientált, elosztott adattároló, Java írva. Úgy tervezték, hogy hatalmas mennyiségű eseményadatot gyorsan elnyeljen, és az alacsony késleltetésű OLAP-lekérdezéseket végre tudja hajtani ezekre az adatokra. A Druidot általában üzleti intelligencia alkalmazásokban használják nagy mennyiségű valós idejű és történelmi adat elemzésére. Kiválóan alkalmas gyors, interaktív, analitikus műszerfalak táplálására a végfelhasználók számára. A Druidot olyan cégek használják, mint az Alibaba, az Airbnb, a Cisco , az eBay, a Netflix, a Paypal és a Yahoo. Ebben az oktató által irányított, élő kurzusban felfedezzük az adattárház-megoldások néhány korlátozását, és megvitatjuk, hogy a Druid hogyan egészítheti ki ezeket a technológiákat, hogy rugalmas és méretezhető adatfolyam-elemzési köteget képezzen. Számos példán keresztül járunk, és lehetőséget biztosítunk a résztvevőknek a Druid-alapú megoldások laboratóriumi környezetben történő megvalósítására és tesztelésére. A tantárgy formátuma

• Rész előadás, rész vita, nehéz gyakorlati gyakorlat, alkalmi tesztek a megértés felmérésére

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik több csomópontból álló Greenplum adatbázist szeretnének létrehozni.A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Pivotal Greenplum-ot.
• Az adatok modellezése a jelenlegi igényeknek és a jövőbeni bővítési terveknek megfelelően.
• Különböző technikák alkalmazása az adatok több csomópont közötti elosztására.
• Növelje az adatbázis teljesítményét hangolással.
• A Greenplum adatbázis figyelése és hibaelhárítása.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a rendszergazdáknak szól, akik szeretnének beállítani Greenplum Database az üzleti intelligencia és az adattárház megoldásokat.A képzés végére a résztvevők képesek lesznek:

• Címfeldolgozási igények kielégítése a Greenplum segítségével.
• ETL műveletek végrehajtása adatfeldolgozáshoz.
• Használja ki a meglévő lekérdezésfeldolgozási infrastruktúrákat.

A Mem SQL egy memóriában elosztott, elosztott SQL adatbázis-kezelő rendszer felhők és helyszíni szolgáltatások számára. Ez egy valós idejű adattárház, amely azonnal betekintést nyújt az élő és a történeti adatokból. Ebben az oktató által vezetett, élő képzésen a résztvevők megtanulják a Mem SQL fejlesztés és adminisztráció alapvető elemeit. A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a Mem SQL kulcsfogalmait és jellemzőit
• Telepítse, tervezze, karbantartsa és működtesse a Mem SQL
• Optimalizálja a sémákat a Mem SQL
• Javítsa a lekérdezéseket a Mem SQL
• Benchmark teljesítmény a Mem SQL
• A Mem SQL használatával valós idejű adatalapú alkalmazásokat készíthet

Közönség

• Fejlesztők
• A rendszergazdák
• Működési mérnökök

A tantárgy formátuma

• Részleges előadás, részleges beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat