Big Data oktatás Magyarország

Stratio egy adatokra összpontosító platform, amely nagy adatok, mesterséges intelligencia (AI) és kormányzati funkciókat integrál egy egyetlen megoldásba. Az Rocket és Intelligence modullai lehetővé teszik a gyors adatfelfedezést, átalakítást és előrehaladott analitikai feladatok végrehajtását vállalati környezetekben.

Ez az oktatóvezetett élő tanfolyam (online vagy helyszínen) középszerű szintű adatszakembereknek szól, akik hatékonyan szeretnék használni az Stratio Rocket és Intelligence modullait PySpark-al, a ciklusok, felhasználódefiniált függvények és előrehaladott adatlogika hangsúlyozásával.

E tanfolyam végére a résztvevők képesek lesznek:

• Navigálni és dolgozni az Stratio platformon az Rocket és Intelligence modullal.
• Alkalmazni PySpark-t az adatbefogadás, átalakítás és elemzés kontextusában.
• Ciklusokat és feltételes logikát használni az adatfolyamok és a jellemzők generálásának ellenőrzéséhez.
• Létrehozni és kezelni felhasználódefiniált függvényeket (UDF) ismételten felhasználható adatműveletekhez PySpark-ban.

A tanfolyam formátuma

• Interaktív előadás és beszélgetés.
• Sokat gyakorolunk és gyakorolunk.
• Kézbesített implementáció élő laboratóriumi környezetben.

A tanfolyam testreszabási lehetőségei

• Egy testreszabott tanfolyam kéréséhez kérjük, lépjen kapcsolatba velünk.

Data Warehousing is the practice of designing, building, and operating centralized data repositories that support analytics, reporting, and decision-making.

This instructor-led, live training (online or onsite) is aimed at intermediate-level data professionals who wish to model dimensional data, build robust ETL pipelines, and optimize analytical workloads.

By the end of this training, participants will be able to:

• Explain core data warehousing concepts and architectures.
• Design dimensional models and choose between star and snowflake schemas.
• Build and orchestrate ETL and ELT pipelines reliably.
• Differentiate OLTP versus OLAP workloads and optimize for analytics.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Azok a résztvevők, akik elvégzik ezt az oktató által vezetett, élő képzést Magyarország-ban, gyakorlati, valós ismereteket szereznek az Big Data-ről és a kapcsolódó technológiáról, módszertanról és eszközről.

A résztvevők gyakorlati gyakorlatokon keresztül lehetőséget kapnak arra, hogy ezt a tudást a gyakorlatba is átültessék. A csoportos interakció és az oktatói visszajelzések az óra fontos részét képezik.

A kurzus a Big Data elemi fogalmainak bemutatásával kezdődik, majd a Data Analysis végrehajtásához használt programozási nyelvek és módszertanok felé halad. Végül tárgyaljuk azokat az eszközöket és infrastruktúrát, amelyek Big Data lehetővé teszik a tárolást, az elosztott feldolgozást és a Scalaképességet.

Greenplum egy nyílt forráskódú, masszív párhuzamos feldolgozású (MPP) adattár, amelyet analitikai és nagy méretű adatok kezelésére terveztek.

Ez az oktatóvezetett, élő (online vagy helyszíni) képzés célja, hogy középfokú és előkelő technikai felhasználók megismerjék a Greenplum belső architektúráját, optimalizált adatmodelleket építsenek és magas teljesítményt érjenek el elosztott környezetekben.

A képzés végén a résztvevők képesek lesznek:

• Megérteni a Greenplum osztatlan architektúráját és párhuzamosítási modelljét.
• Elosztott táblastruktúrákat és lekérdezések optimalizálására szánt partíciókat tervezni.
• Indexelési stratégiákat, tárolási formátumokat és fizikai tervezési technikákat használni.
• EXPLAIN tervrajzokat értelmezni és a legjobb gyakorlatokat alkalmazni a lekérdezések optimalizálására.

A kurzus formátuma

• Interaktív előadás és megbeszélés.
• Sok gyakorlati feladat és gyakorlás.
• Eleven labor környezetben történő gyakorlati implementáció.

A kurzus testreszabási lehetőségek

• A kurzus testreszabott verziójának kéréséhez kérjük, lépjen kapcsolatba velünk a szervezés érdekében.

Greenplum egy nyílt forráskódú tömeges párhuzamos adattár, amely PostgreSQL alapján készült, és amely előrehaladott analitikai feladatokhoz és nagy méretű adattárházak kezeléséhez szánva.

Ez az oktatóvezetett, élő képzés (online vagy helyszíni) az intermediális szintű adminisztrátoroknak szánva, akik hatékonyan szeretnének telepíteni, konfigurálni és kezelni a Greenplum környezeteket, beleértve a rendszerfrissítések és könyvtárak kezelését.

A képzés végén a résztvevők képesek lesznek:

• Telepíteni és konfigurálni egy termékiesítési kész Greenplum csomópontot.
• Biztonságosan kezelni a rendszerfrissítéseket és patch-eket alkalmazni.
• Kezelni a Greenplum könyvtárakat az analitika és kiterjesztések számára.
• Hibáikat diagnosztizálni és a Greenplum rendszereket monitorozni.

A képzés formája

• Interaktív előadás és viták.
• Greenplum kezelése kontrollált laboratóriumi környezetben.
• Csomópont beállítása, frissítési folyamatokra és rendszerkiterjesztésekre fókuszált vezérelt gyakorlatok.

A képzés testreszabási lehetőségei

• Egy, az Ön környezetéhez vagy adattárhoz igazított képzés kéréséhez, kérjük, lépjen kapcsolatba velünk a megegyezés kidolgozása érdekében.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) haladó szintű adatszakértőket céloz meg, akik szeretnék optimalizálni az adatfeldolgozási munkafolyamatokat, biztosítani szeretnék az adatok integritását, és olyan robusztus Data Lakehouse-megoldásokat valósítanak meg, amelyek képesek kezelni a modern nagyvállalatok összetettségeit. adatalkalmazások.

A képzés végére a résztvevők képesek lesznek:

• Mélyreható ismereteket szerezhet az Iceberg architektúrájáról, beleértve a metaadatkezelést és a fájlelrendezést.
• Konfigurálja az Iceberget az optimális teljesítmény érdekében különböző környezetekben, és integrálja több adatfeldolgozó motorral.
• Nagyméretű Iceberg táblák kezelése, összetett sémamódosítások végrehajtása és partíciófejlődés kezelése.
• Mester technikák a lekérdezési teljesítmény és az adatolvasás hatékonyságának optimalizálására nagy adatkészletek esetén.
• Mechanizmusok megvalósítása az adatok konzisztenciájának biztosítására, a tranzakciós garanciák kezelésére és az elosztott környezetekben előforduló hibák kezelésére.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azon kezdő szintű adatszakértőknek szól, akik szeretnék megszerezni az Apache Iceberg hatékony felhasználásához szükséges ismereteket és készségeket a nagyméretű adatkészletek kezelésére, az adatok integritásának biztosítására, valamint az adatfeldolgozási munkafolyamatok optimalizálása.

A képzés végére a résztvevők képesek lesznek:

• Alaposan ismerje meg az Apache Iceberg architektúráját, szolgáltatásait és előnyeit.
• Ismerje meg a táblázatformátumokat, a particionálást, a séma evolúcióját és az időutazási lehetőségeket.
• Telepítse és konfigurálja az Apache Iceberget különböző környezetekben.
• Iceberg táblák létrehozása, kezelése és manipulálása.
• Ismerje meg az adatok más táblázatformátumokból az Icebergbe történő migrálásának folyamatát.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) középszintű informatikai szakembereknek szól, akik szeretnék fejleszteni tudásukat az adatarchitektúra, az irányítás, a felhőalapú számítástechnika és a big data technológiák terén a nagy adatkészletek hatékony kezelése és elemzése érdekében. szervezetükön belüli adatmigrációhoz.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a különböző adatarchitektúrák alapfogalmait és összetevőit.
• Szerezzen átfogó ismereteket az adatkezelési elvekről és azok fontosságáról a szabályozási környezetben.
• Olyan adatkezelési keretrendszerek megvalósítása és kezelése, mint a Dama és a Togaf.
• Használja ki a felhőplatformokat a hatékony adattárolás, -feldolgozás és -kezelés érdekében.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) középszintű adatmérnököknek szól, akik szeretnék megtanulni, hogyan használják a Azure Data Lake Storage Gen2-t hatékony adatelemzési megoldásokhoz.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a Azure Data Lake Storage Gen2 architektúráját és főbb jellemzőit.
• Optimalizálja az adattárolást és a hozzáférést a költségek és a teljesítmény érdekében.
• Integrálja a Azure Data Lake Storage Gen2-t más Azure szolgáltatásokkal elemzési és adatfeldolgozási célokra.
• Megoldások fejlesztése a Azure Data Lake Storage Gen2 API használatával.
• A gyakori problémák elhárítása és a tárolási stratégiák optimalizálása.

Big Data és előrehaladott elemző analitika a bonyolult technikák és eszközök alkalmazása nagyméretű, komplex adathalmazok elemzésére, cselekvésre alkalmas információk és stratégiai döntéshozatal céljából.

Ez az oktatóvezetett, élő (online vagy helyszínen) képzés az előrehaladott szintű adatelemző szakembereknek szánva, akik kíváncsiak arra, hogy a legújabb elemző módszereket és nagy adattömeget kezelő technológiákat használják előrejelző, javaslatos és valós idejű elemzésre.

Ezt a képzést követően a résztvevők képesek lesznek:

• Nagyméretű adatok feldolgozó csövek tervezésére és megvalósítására strukturált és nem strukturált adatokhoz.
• Előrehaladott gépi tanulás és mély tanulás technikák alkalmazására hatalmas adathalmazokra.
• Elosztott számítási keretrendszerek használatára valós idejű elemzésre és adatok folyamatos átviteli.
• Nagy adattömeget kezelő elemzéseket integrálni üzleti intelligencia és döntéshozatal rendszereibe.

A kurzus formája

• Interaktív előadás és vita.
• Sok gyakorlati feladat és gyakorlás.
• Eleven-labor környezetben történő gyakorlati megvalósítás.

A kurzus testreszabási lehetőségek

• Ezt a képzést testreszabott formában kérni szeretné, kérjük, lépjen kapcsolatba velünk a megbeszéléshez.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a középszintű informatikai szakembereknek szól, akik szeretnének átfogó ismereteket szerezni az IBM DataStage-ről mind adminisztratív, mind fejlesztési szempontból, lehetővé téve számukra ennek kezelését és felhasználását. hatékony eszközt a saját munkahelyükön.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a DataStage alapfogalmait.
• Ismerje meg a DataStage környezetek hatékony telepítését, konfigurálását és kezelését.
• Csatlakozzon különféle adatforrásokhoz, és hatékonyan nyerje ki az adatokat adatbázisokból, egyszerű fájlokból és külső forrásokból.
• Hatékony adatbetöltési technikák alkalmazása.

Ez a tanácsadó által vezetett, élő oktatás (Magyarország-ban, online vagy helyszíni) középső szintű nagy adatokkal foglalkozó szakemberek számára készült, akik szeretnék a Apache Kylin-t használni valós idejű adattárak építésére és nagymértékű adatkészleteken végzett multidimensionális elemzésre.

Ennek az oktatásnak a befejezése után a résztvevők képesek lesznek:

• A Apache Kylin valós idejű adatforrásokkal történő beállítása és konfigurálása.
• OLAP kockák tervezése és építése batch és folyamatos adatokra.
• Komplex lekérdezések végzése alapértelmezett másodpercbeli latenciával a Kylin SQL felületén keresztül.
• Kylin integrálása BI eszközökkel interaktív adatvizualizációhoz.
• Telepítés teljesítményének optimalizálása és erőforrások hatékony kezelése a Kylin-ben.

Azok a résztvevők, akik elvégzik ezt az oktató által vezetett, élő képzést Magyarország-ban, gyakorlati, valós ismereteket szereznek a Big Data-ról és a kapcsolódó technológiáról, módszertanról és eszközről.

A résztvevők gyakorlati gyakorlatokon keresztül lehetőséget kapnak arra, hogy ezt a tudást a gyakorlatba is átültessék. A csoportos interakció és az oktatói visszajelzések az óra fontos részét képezik.

A kurzus a Big Data elemi fogalmainak bemutatásával kezdődik, majd az adatelemzés végrehajtásához használt programozási nyelvek és módszertanok felé halad. Végül megvitatjuk azokat az eszközöket és infrastruktúrát, amelyek lehetővé teszik a Big Data tárolását, az elosztott feldolgozást és a Scalaképességet.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan használhatják a Python-t és a Spark-ot a nagy adatok elemzésére, miközben gyakorlati gyakorlatokon dolgoznak.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg, hogyan használja a Sparkot a Python-val a Big Data elemzéséhez.
• Dolgozz olyan gyakorlatokon, amelyek a valós eseteket utánozzák.
• Használjon különféle eszközöket és technikákat a nagy adatelemzéshez az PySpark segítségével.

Ez a tanfolyam ismerteti a Hive SQL nyelv használatát (AKA: Hive HQL, SQL on Hive , Hive QL) azok számára, akik adatokat Hive a Hive

Ez az oktató által vezetett élő képzés Magyarország (online vagy helyszínen) az intermediális szintű adatbázis-kezelők, fejlesztők és analitikusok számára van szánt, akik kíváncsiak arra, hogy mesterségesen beváltassák az SQL funkciókat a komplex adatműveletek és adatbázis-kezelés terén.

A képzés végén a résztvevők képesek lesznek:

• Uniók, allekérdezések és komplex csatolások használatával előrehaladott lekérdezési technikákat végrehajtani.
• Adatok, táblák, nézetek és indexek pontos hozzáadására, módosítására és törlésére.
• Tranzakciók biztosítják az adatintegritást, és módosítják az adatbázis szerkezeteket.
• Hatékonyan létrehozhatnak és kezelhetnek adatbázisokat robusztus adat tárolásra és visszaállításra.

Dremio egy nyílt forráskódú " önkiszolgáló adatplatform", amely felgyorsítja a keresést a különböző típusú adatforrások. Dremio integrálja a relatív adatbázisok, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, és más adatforrások. Támogatja SQL és webes interfészet biztosít az építési lekérdezésekhez.

Ebben az oktató által vezetett, élő képzésben a résztvevők megtanulják, hogyan kell telepíteni, konfigurálni és használni Dremio az adatelemzési eszközök és az alapvető adattárak egységes rétege.

A képzés befejezése után a résztvevők képesek lesznek:

• Beállítása és beállítása Dremio
• Több adatforrásra vonatkozó lekérdezések végrehajtása, függetlenül a helyétől, méretétől vagy szerkezetétől
• Integrálja Dremio BI és adatforrások, mint például Tableau és Elasticsearch

közönség

• adattudósok
• Business Az elemzők
• Adatmérnökök

A kurzus formázása

• Részes előadások, részes viták, gyakorlatok és nehéz gyakorlatok

jegyzetek

• Ahhoz, hogy egy személyre szabott képzést kérjen erre a kurzusra, kérjük, vegye fel velünk a kapcsolatot a rendezéshez.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) középszintű adatbázis-szakértőknek szól, akik szeretnék fejleszteni Oracle SQL fejlesztési és adminisztrációs készségeiket.

A képzés végére a résztvevők képesek lesznek:

• Összetett SQL lekérdezések létrehozása és optimalizálása.
• Az adatbázisok hatékony kezelése a Oracle SQL eszközökkel.
• Alkalmazza a legjobb gyakorlatokat az adatbázisok fejlesztésében és karbantartásában.
• Felhasználói hozzáférés és adatbázis-biztonság adminisztrálása Oracle környezetben.

A Apache Accumulo egy rendezett, elosztott kulcs/érték tároló, amely robusztus, méretezhető adattárolást és visszakeresést biztosít. Az Google's BigTable tervezésén alapul, és az Apache Hadoop, az Apache Zookeeper és az Apache Thrift hajtja.

Ez az oktató által vezetett, élő kurzus az Accumulo működési elveit ismerteti, és végigvezeti a résztvevőket egy minta alkalmazás fejlesztésén a Apache Accumulo webhelyen.

A tanfolyam formátuma

• Rész előadás, részben megbeszélés, gyakorlati fejlesztés és megvalósítás, alkalmankénti tesztek a megértés mérésére

Ez kurzus azoknak a fejlesztőknek és adattudósoknak szól, akik kíváncsiak arra, hogy a művészeteiket értse és alkalmazza az alkalmazásukban a mesélő intelligenciát. Különösen a nagy adatok, a terjesztett mesélő intelligencia, és a természetes nyelv feldolgozása áll a középpontban.

A Amazon Redshift egy petabájtos méretű felhő alapú adattárház szolgáltatás az AWS-ben.

Ezen az oktató által vezetett, élő képzésen a résztvevők megtanulják a Amazon Redshift alapjait.

A képzés végére a résztvevők képesek lesznek:

• Telepítés és konfigurálás Amazon Redshift
• Az adatok betöltése, konfigurálása, telepítése, lekérdezése és megjelenítése a Amazon Redshift segítségével

Közönség

• Fejlesztők
• IT szakemberek

A tanfolyam formátuma

• Rész előadás, részben beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Jegyzet

• Ha személyre szabott képzést szeretne kérni ehhez a tanfolyamhoz, kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

A technológiák fejlődése és a növekvő információmennyiség számos iparágban, köztük a kormányzatban is megváltoztatja az üzletvitelt. GoAz állami adatgenerálás és a digitális archiválás aránya növekszik a mobileszközök és alkalmazások, az intelligens érzékelők és eszközök, a felhőalapú számítástechnikai megoldások és a polgároknak szánt portálok gyors növekedése miatt. A digitális információk bővülésével és összetettebbé válásával az információkezelés, feldolgozás, tárolás, biztonság és selejtezés is egyre összetettebbé válik. Az új rögzítési, keresési, felfedezési és elemzési eszközök segítségével a szervezetek betekintést nyerhetnek strukturálatlan adataikból. A kormányzati piac egy fordulóponthoz ért, felismerve, hogy az információ stratégiai eszköz, és a kormányzatnak meg kell védenie, ki kell használnia és elemeznie kell a strukturált és a strukturálatlan információkat is, hogy jobban szolgálja és megfeleljen a küldetés követelményeinek. Miközben a kormányzati vezetők arra törekednek, hogy adatvezérelt szervezeteket fejlesszenek ki, hogy sikeresen teljesítsék küldetésüket, lefektetik az alapot az események, személyek, folyamatok és információk közötti függőségek korrelációjához.

Nagy értékű kormányzati megoldások születnek a legrombolóbb technológiák halmazából:

Mobileszközök és alkalmazások Felhőszolgáltatások Társadalmi üzleti technológiák és hálózatépítés Big Data és elemzés

Az IDC előrejelzése szerint 2020-ra az IT-ipar eléri az 5 billió dollárt, ami körülbelül 1,7 billió dollárral nagyobb a jelenleginél, és az iparág növekedésének 80%-át ezek a 3. platformtechnológiák hajtják majd. Hosszú távon ezek a technológiák kulcsfontosságú eszközök lesznek a megnövekedett digitális információk összetettségének kezelésében. A Big Data az egyik intelligens iparági megoldás, és lehetővé teszi a kormányzat számára, hogy jobb döntéseket hozzon azáltal, hogy a nagy mennyiségű – kapcsolódó és független, strukturált és strukturálatlan – adatelemzés során feltárt minták alapján fellép.

De ezeknek a bravúroknak a megvalósítása sokkal többre van szükség, mint egyszerűen hatalmas mennyiségű adat felhalmozása. „E Big Data-mennyiségek értelmezéséhez olyan élvonalbeli eszközökre és technológiákra van szükség, amelyek képesek elemezni és hasznos ismereteket kinyerni a hatalmas és sokrétű információáramokból” – mondta Tom Kalil és Fen Zhao, a Fehér Ház Tudományos és Technológiai Politikai Hivatalának munkatársa az OSTP Blogon írt bejegyzésében.

A Fehér Ház tett egy lépést afelé, hogy segítsen az ügynökségeknek megtalálni ezeket a technológiákat, amikor 2012-ben létrehozta a Nemzeti Big Data Kutatási és Fejlesztési Kezdeményezést. A kezdeményezés több mint 200 millió dollárt tartalmazott a Big Data robbanásából és az ahhoz szükséges eszközökből. elemezze azt.

A Big Data által jelentett kihívások majdnem olyan ijesztőek, mint amennyire az ígérete biztató. Az adatok hatékony tárolása az egyik ilyen kihívás. Mint mindig, a költségvetések szűkösek, ezért az ügynökségeknek minimálisra kell csökkenteniük a tárhely megabájtonkénti árát, és könnyű hozzáférést kell biztosítaniuk az adatokhoz, hogy a felhasználók akkor kaphassák meg, amikor és ahogyan szükségük van rá. A hatalmas mennyiségű adat biztonsági mentése fokozza a kihívást.

Az adatok hatékony elemzése egy másik nagy kihívás. Sok ügynökség alkalmaz olyan kereskedelmi eszközöket, amelyek lehetővé teszik számukra, hogy átvizsgálják az adatok hegyeit, és felfedezzék azokat a trendeket, amelyek elősegíthetik a hatékonyabb működést. (A MeriTalk legutóbbi tanulmánya szerint a szövetségi informatikai vezetők úgy gondolják, Big Data segíthet az ügynökségeknek több mint 500 milliárd dolláros megtakarításban, miközben teljesíti a küldetés céljait.).

Az egyedi fejlesztésű Big Data eszközök is lehetővé teszik az ügynökségek számára, hogy foglalkozzanak adataik elemzésével. Például az Oak Ridge National Laboratory Computational Data Analytics Group más ügynökségek számára is elérhetővé tette Piranha adatelemző rendszerét. A rendszer segített az orvoskutatóknak olyan kapcsolatot találni, amely figyelmeztetheti az orvosokat az aorta aneurizmáira, mielőtt azok fellépnének. A hétköznapibb feladatokhoz is használják, például az önéletrajzok áttanulmányozására, hogy összekapcsolják a jelölteket a munkaerő-felvételi vezetőkkel.

Az Apache Beam egy nyílt forráskódú, egységes programozási modell párhuzamos adatfeldolgozási folyamatok meghatározására és végrehajtására. Ereje abban rejlik, hogy képes kötegelt és adatfolyam-folyamatokat is futtatni, a végrehajtást pedig a Beam egyik támogatott elosztott feldolgozási háttérrendszere hajtja végre: Apache Apex, Apache Flink, Apache Spark és Google Cloud Dataflow. Az Apache Beam olyan ETL (Extract, Transform, and Load) feladatoknál hasznos, mint például az adatok mozgatása különböző tárolóeszközök és adatforrások között, az adatok kívánatosabb formátumba való átalakítása és az adatok új rendszerbe való betöltése.

Ezen az oktató által vezetett, élő (helyszíni vagy távoli) képzésen a résztvevők megtanulják, hogyan implementálják az Apache Beam SDK-kat egy Java vagy Python alkalmazásban, amely adatfeldolgozási folyamatot határoz meg a nagy adathalmazok kisebb darabokra bontásához. független, párhuzamos feldolgozáshoz.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja Apache Beam.
• Használjon egyetlen programozási modellt a kötegelt és adatfolyam-feldolgozás végrehajtásához a Java vagy Python alkalmazásból.
• Csővezetékek végrehajtása több környezetben.

A tanfolyam formátuma

• Rész előadás, részben beszélgetés, gyakorlatok és nehéz gyakorlati gyakorlat

Jegyzet

• Ez a tanfolyam a jövőben elérhető lesz Scala. Kérjük, vegye fel velünk a kapcsolatot, hogy megbeszéljük.

1. nap - magas szintű áttekintést nyújt az alapvető Big Data területéről. A modul szekciók sorozatára oszlik, amelyek mindegyikét gyakorlati gyakorlat kísérik.

2. nap - a Big Data környezetek elemzési gyakorlataival és eszközeivel kapcsolatos témaköröket vizsgálja. Nem kerül be a megvalósításba vagy programozási részletekbe, hanem a fogalom szintjén tartja a lefedettséget, és olyan témákra összpontosít, amelyek lehetővé teszik a résztvevők számára a Big Data megoldások által kínált közös elemzési funkciók és funkciók átfogó megértését.

3. nap - áttekintést ad a Big Data megoldás platform architektúrájához kapcsolódó alapvető és alapvető témakörökről. Magában foglalja a Big Data megoldások platformjának és az adatfeldolgozó platform összeszereléséhez szükséges architekturális lehetőségek fejlesztéséhez szükséges Big Data mechanizmusokat. Gyakori forgatókönyvek is bemutatásra kerülnek, hogy alapvető ismereteket kapjanak arról, hogyan használják általában a Big Data megoldást.

4. nap - a 3. napra építve a Big Data megoldás platform architektúrájához kapcsolódó fejlett témák feltárásával. Különösen a Big Data megoldás platformját alkotó különböző építészeti rétegeket ismertetik és tárgyalják, beleértve az adatforrásokat, az adatok bejutását, az adatok tárolását, az adatfeldolgozást és a biztonságot.

Az 5. nap számos olyan gyakorlattal és problémával foglalkozik, amelyek célja, hogy teszteljék a küldöttek azon képességét, hogy a 3. és 4. napra vonatkozó témaköröket tudják alkalmazni.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják azt a gondolkodásmódot, amellyel megközelíthetik Big Data technológiákat, felmérik azok hatását a meglévő folyamatokra és politikákra, és alkalmazzák ezeket a technológiákat a bűncselekmények azonosítása és a bűnmegelőzés céljából. Megvizsgálják a világ bűnüldöző szervezeteitől származó esettanulmányokat, hogy betekintést nyerjenek elfogadási megközelítéseikbe, kihívásaikba és eredményeikbe.

A képzés végére a résztvevők képesek lesznek:

• Kombinálja Big Data technológiát a hagyományos adatgyűjtési folyamatokkal, hogy összeállítson egy történetet a nyomozás során.
• Ipari nagy adattárolási és adatfeldolgozási megoldások megvalósítása adatelemzésre.
• Javaslat készítése a legmegfelelőbb eszközök és eljárások elfogadására a bűnügyi nyomozás adatközpontú megközelítésének lehetővé tételére.

Big Data olyan kifejezés, amely nagy adathalmazok tárolására és feldolgozására szánt megoldásokra vonatkozik. A Go ogle által kifejlesztett Big Data megoldások más hasonló projekteket fejlesztettek ki és inspiráltak, amelyek közül sok nyílt forráskódú. Az R egy népszerű programozási nyelv a pénzügyi ágazatban.

Ha a hagyományos tárolási technológiák nem kezelik a tárolni kívánt adatmennyiséget, alternatívák vannak. Ez a kurzus megpróbálja irányítani a résztvevőket, hogy milyen lehetőségek állnak rendelkezésre a Big Data tárolására és elemzésére, és mi a saját előnye és hátránya.

Ez a kurzus többnyire a megoldások megvitatására és bemutatására összpontosít, bár a gyakorlati gyakorlatok igény szerint rendelkezésre állnak.

A kurzus a Data Scientist készségkészlet része (Domain: Data and Technology).

Ez az osztálytermi képzés a Big Data-t fogja feltárni. A küldöttek számítógépes példákkal és esettanulmányi gyakorlatokkal rendelkeznek, amelyeket a releváns big data eszközökkel végezhetnek el

Ez az oktató által vezetett, élő képzés (helyszíni vagy távoli) célja a mérnökök, akik szeretnék használni Fluent (eloszlása Kafka) építeni és kezelni a valós idejű adatfeldolgozó platform azok alkalmazásait.

végére a képzés, a résztvevők képesek lesznek:

• Confluent Platform telepítése és konfigurálása.
• Confluent kezelőeszközeinek és szolgáltatásainak használata a Kafka könnyebb működtetéséhez.
• Bejövő adatok folyamának tárolása és feldolgozása.
• Kafka csomagok optimalizálása és kezelése.
• Adatfolyamok biztonságosítása.

formátuma tanfolyam

• Interaktív előadás és beszélgetés.
• Számos gyakorlat és gyakorlás.
• Élő-laboratóriumi környezetben történő gyakorlati megvalósítás.

tanfolyam testreszabási beállítások

• Ez a tanfolyam a Confluent nyílt forrású verzióján alapul: Confluent Open Source.
• A tanfolyam testreszabására keressék fel minket, hogy megbeszéljük.

Közönség

Ha megpróbálja megérteni az adatokból, amelyekhez hozzáférhet, vagy elemezni kívánja a net strukturált adatokat (például Twitter, Linked in, stb.), Ez a kurzus az Ön számára.

Leginkább a döntéshozóknak és azoknak az embereknek szól, akiknek ki kell választaniuk, hogy milyen adatokat érdemes gyűjteni és mit érdemes elemezni.

Nem a megoldást konfiguráló emberekre irányul.

Szállítási mód

A tanfolyam során a küldöttek többnyire nyílt forráskódú technológiákkal foglalkozó példákat mutatnak be.

A rövid előadásokat előadások és egyszerű gyakorlatok követik a résztvevők

Tartalom és szoftver

Minden használt szoftver frissül minden alkalommal, amikor a kurzust futtatják, így ellenőrizzük a legújabb verziókat.

Ez az adatgyűjtés, -formázás, -feldolgozás és -elemzés folyamatát foglalja magában, hogy elmagyarázza, hogyan automatizálható a döntéshozatali folyamat a gépi tanulással.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják, hogyan kell Data Vault-et építeni.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg az Data Vault 2.0 mögött meghúzódó architektúra és tervezési koncepciókat, valamint annak interakcióját a Big Data, NoSQL és AI között.
• Használjon adattároló technikákat, hogy lehetővé tegye az adattárházban lévő előzményadatok auditálását, nyomon követését és ellenőrzését.
• Konzisztens és megismételhető ETL (Extract, Transform, Load) folyamat kialakítása.
• Építsen és telepítsen nagymértékben méretezhető és megismételhető raktárakat.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azon építészeknek, fejlesztőknek és rendszergazdáknak szól, akik a Denodo platformot szeretnék használni az adatkezelés optimalizálására és felgyorsítására adatvirtualizáción keresztül.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Denodo platformot.
• Ismerje meg a Denodo platform jellemzőit és architektúráját.
• Ismerje meg az adatvirtualizáció kulcsfogalmait, előnyeit és használati eseteit.
• Ismerje meg a Denodo platformszerver konfigurálását és kezelését.
• Végezze el az adatbiztonságot, a felhasználói hozzáférést és a szolgáltatások hitelesítését.
• Alkalmazza az eszközöket és technikákat a műveletek figyeléséhez és a teljesítmény optimalizálásához.

Apache Druid egy nyílt forrású, oszlop-orientált, elosztott adattároló, Java írva. Úgy tervezték, hogy hatalmas mennyiségű eseményadatot gyorsan elnyeljen, és az alacsony késleltetésű OLAP-lekérdezéseket végre tudja hajtani ezekre az adatokra. A Druidot általában üzleti intelligencia alkalmazásokban használják nagy mennyiségű valós idejű és történelmi adat elemzésére. Kiválóan alkalmas gyors, interaktív, analitikus műszerfalak táplálására a végfelhasználók számára. A Druidot olyan cégek használják, mint az Alibaba, az Airbnb, a Cisco , az eBay, a Netflix, a Paypal és a Yahoo.

Ebben az oktató által irányított, élő kurzusban felfedezzük az adattárház-megoldások néhány korlátozását, és megvitatjuk, hogy a Druid hogyan egészítheti ki ezeket a technológiákat, hogy rugalmas és méretezhető adatfolyam-elemzési köteget képezzen. Számos példán keresztül járunk, és lehetőséget biztosítunk a résztvevőknek a Druid-alapú megoldások laboratóriumi környezetben történő megvalósítására és tesztelésére.

A tantárgy formátuma

• Rész előadás, rész vita, nehéz gyakorlati gyakorlat, alkalmi tesztek a megértés felmérésére

A nagy adat olyan adatkészletek, amelyek annyira terjedelmesek és összetettek, hogy a hagyományos adatfeldolgozó alkalmazásszoftverek nem megfelelőek ezek kezelésére. A nagy adat kihívások között szerepel az adatok rögzítése, az adatok tárolása, az adatok elemzése, a keresés, a megosztás, az átvitel, a megjelenítés, a lekérdezés, a frissítés és az adatvédelem.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja az elosztott adatfolyam- és kötegelt adatfeldolgozás mögött meghúzódó elveket és megközelítéseket, és végigvezeti a résztvevőket egy valós idejű adatfolyam-alkalmazás létrehozásán a Apache Flink-ban.

A képzés végére a résztvevők képesek lesznek:

• Környezet létrehozása adatelemző alkalmazások fejlesztéséhez.
• Ismerje meg, hogyan működik Apache Flink gráffeldolgozó könyvtára (Gelly).
• Flink-alapú, hibatűrő, adatfolyam-küldő alkalmazások becsomagolása, végrehajtása és figyelése.
• Változatos munkaterhelések kezelése.
• Végezzen haladó elemzést.
• Hozzon létre egy több csomópontból álló Flink-fürtöt.
• Mérje meg és optimalizálja a teljesítményt.
• Integrálja a Flink-et különböző Big Data rendszerekkel.
• Hasonlítsa össze a Flink képességeit más big data feldolgozó keretrendszerekkel.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megismerkedhetnek a technológiai kínálatokkal és a grafikonadatok feldolgozásának megvalósítási módszereivel. A cél a valós objektumok, jellemzőik és kapcsolataik azonosítása, majd a kapcsolatok modellezése és adatként való feldolgozása Graph Computing (más néven Graph Analytics) megközelítéssel. Kezdjük egy átfogó áttekintéssel, és leszűkítjük a konkrét eszközöket, miközben esettanulmányok, gyakorlati gyakorlatok és élő telepítések sorozatán lépkedünk végig.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a grafikonadatok megőrzését és bejárását.
• Válassza ki a legjobb keretrendszert egy adott feladathoz (a gráfadatbázisoktól a kötegelt feldolgozási keretrendszerekig).
• A Hadoop, a Spark, GraphX és a Pregel megvalósítása számos gépen párhuzamosan végezhet gráfszámítást.
• Tekintse meg a valós világban felmerülő big data problémákat grafikonok, folyamatok és bejárások formájában.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a rendszergazdáknak szól, akik szeretnének beállítani Greenplum Database az üzleti intelligencia és az adattárház megoldásokat.

A képzés végére a résztvevők képesek lesznek:

• Felvételi folyamatok kezelése a Greenplummal.
• ETL műveletek végrehajtása az adatok feldolgozásához.
• Meglévő lekérdezésfeldolgozási infrastruktúra kihasználása.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) bemutatja Hortonworks Data Platform (HDP)-et, és végigvezeti a résztvevőket a Spark + Hadoop megoldás bevezetésén.

A képzés végére a résztvevők képesek lesznek:

• A Hortonworks segítségével megbízhatóan futtathatja a Hadoop-t nagy léptékben.
• Egyesítse a Hadoop biztonsági, irányítási és működési képességeit a Spark agilis analitikai munkafolyamataival.
• A Hortonworks segítségével vizsgálja meg, érvényesítse, hitelesítse és támogassa a Spark-projekt egyes összetevőit.
• Különböző típusú adatokat dolgozhat fel, beleértve a strukturált, strukturálatlan, mozgásban lévő és nyugalmi adatokat.

A Cloudera Impala egy nyílt forráskódú, masszívan párhuzamos feldolgozású (MPP) SQL lekérdezőmotor Apache Hadoop fürtökhöz.

A Impala lehetővé teszi a felhasználók számára, hogy alacsony késleltetésű SQL lekérdezéseket küldjenek a Hadoop Distributed File Systemben és az Apache Hbase-ben tárolt adatokhoz anélkül, hogy adatmozgatást vagy átalakítást kellene végezniük.

Közönség

Ez a kurzus azoknak az elemzőknek és adattudósoknak szól, akik a Hadoop-ban tárolt adatokon elemzik a Business Intelligence vagy SQL eszközöket.

A tanfolyam után a küldöttek képesek lesznek

• A Impala segítségével nyerjen ki értelmes információkat a Hadoop klaszterekből.
• Írjon speciális programokat a Business Intelligencia megkönnyítésére a Impala SQL nyelvjárásban.
• Hibaelhárítás Impala.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan állíthatnak be és integrálhatnak különböző Stream Processing keretrendszereket a meglévő nagy adattároló rendszerekkel, valamint a kapcsolódó szoftveralkalmazásokkal és mikroszolgáltatásokkal.

A képzés végére a résztvevők képesek lesznek:

• Telepítsen és konfiguráljon különböző Stream Processing keretrendszereket, mint például a Spark Streaming és a Kafka Streaming.
• Ismerje meg és válassza ki a legmegfelelőbb keretet a munkához.
• Adatfeldolgozás folyamatosan, párhuzamosan és rekordonként.
• Integrálja Stream Processing megoldásait meglévő adatbázisokkal, adattárházakkal, adattókkal stb.
• Integrálja a legmegfelelőbb adatfolyam-feldolgozási könyvtárat a vállalati alkalmazásokkal és mikroszolgáltatásokkal.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adatmérnököknek, adattudósoknak és programozóknak szól, akik szeretnék használni a Apache Kafka funkciókat az Python-es adatfolyamban.

A képzés végére a résztvevők képesek lesznek a Apache Kafka segítségével figyelni és kezelni a feltételeket folyamatos adatfolyamokban az Python programozás segítségével.

A Kafka Streams ügyféloldali könyvtár olyan alkalmazások és mikroszolgáltatások építéséhez, amelyek adatait továbbítják a Kafka üzenetküldő rendszerbe és onnan. Hagyományosan, Apache Kafka támaszkodott Apache Spark vagy Apache Storm adatok feldolgozására közötti üzenet a termelők és a fogyasztók számára. A Kafka Streams API alkalmazásból történő meghívásával az adatok közvetlenül a Kafkán belül feldolgozhatók, megkerülve azt, hogy az adatokat külön fürtbe kell továbbítani feldolgozásra.

Ebben az oktató által vezetett, élő képzésen a résztvevők megtanulják, hogyan integrálhatja a Kafka Streams egy olyan Java alkalmazásba, amely adatátvitelt továbbít az Apache Kafka felé és az adatfolyam feldolgozása céljából.

A képzés végére a résztvevők képesek lesznek:

• Kafka Streams funkcióit és előnyöit más adatfolyam-feldolgozó keretrendszerekkel szemben megérteni
• Adatfolyamokat közvetlenül egy Kafka-clusteren belül feldolgozni
• Ossza meg egy Java vagy Scala alkalmazást vagy mikroszolgáltatást, amely integrálódik a Kafka és Kafka Streams rendszerrel
• Írjanak összefoglaló kódot, amely bejövő Kafka témákat átalakítja kimenő Kafka témákká
• Az alkalmazást építsék fel, csomagolják össze és telepítsék

Közönség

• Fejlesztők

A képzés formája

• Részt előadásból, részben vitából, gyakorlatokból és sok gyakorlati gyakorlatból áll

Megjegyzések

• A képzéshez testreszabott képzést igényelni, kérjük, lépjen kapcsolatba velünk a megrendezés érdekében

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a fejlesztőknek szól, akik a Apache Kafka adatfolyam-feldolgozást kódírás nélkül szeretnék megvalósítani.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Confluent KSQL-t.
• Állítson be egy adatfolyam-feldolgozási folyamatot csak SQL parancsok használatával (nincs Java vagy Python kódolás).
• Végezzen adatszűrést, átalakításokat, összesítést, összekapcsolást, ablakozást és szekciózást teljes egészében a SQL-ben.
• Interaktív, folyamatos lekérdezések tervezése és üzembe helyezése az ETL és a valós idejű elemzések streameléséhez.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a műszaki szakembereknek szól, akik szeretnék megtanulni, hogyan valósítsák meg a gépi tanulási stratégiát, miközben maximalizálják a big data felhasználását.

A képzés végére a résztvevők:

• Ismerje meg a gépi tanulás fejlődését és trendjeit.
• Ismerje meg, hogyan használják a gépi tanulást a különböző iparágakban.
• Ismerkedjen meg a gépi tanulás szervezeten belüli megvalósításához rendelkezésre álló eszközökkel, készségekkel és szolgáltatásokkal.
• Ismerje meg, hogyan használható a gépi tanulás az adatbányászat és -elemzés javítására.
• Ismerje meg, mi az a középső adatátviteli háttérrendszer, és hogyan használják azt a vállalkozások.
• Ismerje meg a big data és az intelligens alkalmazások szerepét az iparágakban.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban (helyszíni vagy távoli) a résztvevők megtanulják, hogyan telepítsék és kezeljék a Apache NiFi-t élő laborkörnyezetben.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Apachi NiFi-t.
• Forrása, átalakítása és kezelése különböző, elosztott adatforrásokból, beleértve az adatbázisokat és a nagy adatforrásokat.
• Automatizálja az adatfolyamokat.
• Engedélyezze a streamelési elemzést.
• Alkalmazzon különféle megközelítéseket az adatfeldolgozáshoz.
• Alakítsa át Big Data üzleti betekintést.

Ezen az oktató által vezetett, élő képzésen a Magyarország-ban a résztvevők megtanulják az áramlásalapú programozás alapjait, miközben számos demó-bővítményt, komponenst és processzort fejlesztenek a Apache NiFi segítségével.

A képzés végére a résztvevők képesek lesznek:

• Ismerje meg a NiFi architektúráját és adatfolyam-koncepcióit.
• Bővítmények fejlesztése NiFi és harmadik féltől származó API-k használatával.
• Egyedi fejlesztésű saját Apache Nifi processzort.
• Valós idejű adatok feldolgozása és feldolgozása eltérő és nem megszokott fájlformátumokból és adatforrásokból.

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak az adatmérnököknek, adattudósoknak és programozóknak szól, akik a Spark Streaming funkciókat szeretnék használni a valós idejű adatok feldolgozásához és elemzéséhez.

A képzés végére a résztvevők képesek lesznek a Spark Streaming segítségével feldolgozni az élő adatfolyamokat adatbázisokban, fájlrendszerekben és élő műszerfalakban.

Az MLlib a Spark gépi tanulási (ML) könyvtára. Célja, hogy a gyakorlati gépi tanulás méretezhető és egyszerű legyen. Közös tanulási algoritmusokból és segédprogramokból áll, beleértve a besorolást, a regressziót, a klaszterezést, az együttműködő szűrést, a dimenziócsökkentést, valamint az alacsonyabb szintű optimalizálási primitíveket és a magasabb szintű csővezeték API-kat.

Ez két csomagra oszlik:

• A spark.mllib tartalmazza az RDD-re épített eredeti API-t.

• A spark.ml magasabb szintű API-t kínál, amely a DataFrames tetején épült ML-csővezetékek építéséhez.

Közönség

Ez a tanfolyam olyan mérnökökre és fejlesztőkre irányul, akik egy beépített gépkönyvtárat kívánnak használni az Apache Spark

Ez az oktató által vezetett, élő képzés a Magyarország-ban (online vagy helyszíni) azoknak a műszaki személyeknek szól, akik szeretnék telepíteni az Talend Open Studio for Big Data alkalmazást, hogy leegyszerűsítsék a Big Data olvasásának és feldolgozásának folyamatát.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja az Talend Open Studio for Big Data alkalmazást.
• Csatlakozzon olyan Big Data rendszerekhez, mint a Cloudera, a HortonWorks, a MapR, az Amazon EMR és az Apache.
• Ismerje meg és állítsa be az Open Studio big data összetevőit és csatlakozóit.
• Konfigurálja a paramétereket a MapReduce kód automatikus generálásához.
• Használja az Open Studio fogd és vidd felületét a Hadoop-feladatok futtatásához.
• Nagy adatfolyamok prototípusa.
• Automatizálja a big data integrációs projekteket.

Ez az oktató által vezetett, élő képzés bemutatja az interaktív adatelemzés mögött meghúzódó koncepciókat, és végigvezeti a résztvevőket a Zeppelin egy- vagy többfelhasználós környezetben történő bevezetésén és használatán.

A képzés végére a résztvevők képesek lesznek:

• Telepítse és konfigurálja a Zeppelint
• Adatok fejlesztése, rendszerezése, végrehajtása és megosztása böngésző alapú felületen
• Az eredmények megjelenítése anélkül, hogy a parancssorra vagy a fürt részleteire hivatkozna
• Hosszú munkafolyamatok végrehajtása és együttműködése
• Dolgozzon a számos beépülő nyelv/adatfeldolgozási háttérprogramok bármelyikével, például Scala (Apache Spark-val), Python (Apache Spark-val), Spark SQL, JDBC, Markdown és Shell .
• Integrálja a Zeppelint a Spark, Flink és Map Reduce funkcióval
• Biztonságos Zeppelin többfelhasználós példányok az Apache Shiro segítségével