Big Data Business Intelligence for Telecom and Communication Service Providers Kurzusok

Témák napi bontása: (Minden foglalkozás 2 órás)

1. nap: -1. munkamenet: Business A miértek áttekintése Big Data Business Intelligence in Telco.

• Esettanulmányok a T-Mobile-tól, a Verizon-tól stb.
• Big Data alkalmazkodási arány az észak-amerikai telco-nál és hogyan igazítják jövőbeli üzleti modelljüket és működésüket a Big Data BI köré
• Széles körű alkalmazási terület
• Hálózat és szolgáltatás menedzsment
• Ügyfél lemorzsolódás Management
• Data Integration és az irányítópult megjelenítése
• Csaláskezelés
• Business Szabálygenerálás
• Ügyfélprofilalkotás
• Lokalizált hirdetés leküldése

1. nap: Session-2 : A Big Data-1 bemutatása

• A Big Data fő jellemzői a térfogat, a változatosság, a sebesség és a hitelesség. MPP architektúra a kötethez.
• Data Warehouses – statikus séma, lassan fejlődő adatkészlet
• MPP Database, mint a Greenplum, Exadata, Teradata, Netezza, Vertica stb.
• Hadoop Based Solutions – nincs feltétel az adatkészlet szerkezetére vonatkozóan.
• Tipikus minta: HDFS, MapReduce (crunch), visszakeresés a HDFS-ből
• Batch- alkalmas elemző/nem interaktív
• Hangerő: CEP streaming adatok
• Tipikus választások – CEP termékek (pl. Infostreams, Apama, MarkLogic stb.)
• Kevesebb gyártásra kész – Storm/S4
• NoSQL Databases – (oszlop és kulcsérték): A legalkalmasabb az adattárház/adatbázis elemző kiegészítőjeként

1. nap: -3. foglalkozás: Bevezetés a Big Data-2

NoSQL megoldások

• KV Store – Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV Store (hierarchikus) - GT.m, gyorsítótár
• KV Store (megrendelve) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV gyorsítótár - Memcached, újragyorsított, koherencia, végtelen, EXtremeScale, JBoss gyorsítótár, sebesség, terracoqua
• Tuple Store - Gigaspaces, Coord, Apache River
• Database objektum – ZopeDB, DB40, Shoal
• Dokumentumtár - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Wide Columnar Store – BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Változatos adatok: Bevezetés a Data Cleaning kiadáshoz a Big Data-ban

• RDBMS – statikus szerkezet/séma, nem segíti elő az agilis, felfedező környezetet.
• NoSQL – félig strukturált, elegendő struktúra az adatok pontos séma nélküli tárolására az adatok tárolása előtt
• Adattisztítási problémák

1. nap : 4. foglalkozás: Big Data Bevezetés-3 : Hadoop

• Mikor válassza ki a Hadoop-t?
• STRUKTURÁLT – A vállalati adattárházak/adatbázisok hatalmas mennyiségű adat tárolására képesek (áron), de struktúrát szabnak meg (nem jó az aktív feltáráshoz)
• FÉLSZERKEZETT adatok – nehéz megcsinálni a hagyományos megoldásokkal (DW/DB)
• Raktári adatok = HATALMAS erőfeszítés és statikus még a megvalósítás után is
• Az adatok sokféleségéért és mennyiségéért, árucikk hardveren – HADOOP
• A H/W árucikk szükséges egy Hadoop fürt létrehozásához

A Map Reduce /HDFS bemutatása

• MapReduce – a számítástechnika elosztása több szerveren
• HDFS – az adatokat helyileg elérhetővé teszi a számítási folyamat számára (redundanciával)
• Adatok – lehetnek strukturálatlanok/séma nélküliek (ellentétben az RDBMS-szel)
• A fejlesztő felelőssége az adatok értelmezésében
• Programming MapReduce = munka a Java-el (előnyök/hátrányok), adatok manuális betöltése HDFS-be

2. nap: Session-1.1: Spark: Memóriában elosztott adatbázis

• Mi az a „memóriában” feldolgozás?
• Spark SQL
• Spark SDK
• Spark API
• RDD
• Spark Lib
• Hanna
• Meglévő Hadoop rendszer áttelepítése a Sparkba

2. nap munkamenet -1.2: Vihar - Valós idejű feldolgozás a Big Data-ban

• Streamek
• Csírák
• Csavarok
• Topológiák

2. nap: 2. munkamenet: Big Data Management Rendszer

• Mozgó alkatrészek, számítási csomópontok indítása/hiba :ZooKeeper - Konfigurációs/koordinációs/elnevezési szolgáltatásokhoz
• Összetett folyamat/munkafolyamat: Oozie – kezelheti a munkafolyamatot, a függőségeket, a láncszemeket
• Telepítés, konfigurálás, fürtkezelés, frissítés stb (rendszergazda) :Ambari
• Felhőben: Whirr
• Fejlődő Big Data platform eszközök a követéshez
• ETL réteg alkalmazási problémák

2. nap: 3. munkamenet: Prediktív elemzés a Business Intelligenciában -1: Alapvető technikák és gépi tanulás alapú BI :

• Bevezetés a gépi tanulásba
• Osztályozási technikák elsajátítása
• Bayes-predikciót előkészítő képzési fájl
• Markov véletlenszerű mező
• Felügyelt és felügyelet nélküli tanulás
• Funkció kivonás
• Támogatja a Vector gépet
• Neurális hálózat
• Megerősítő tanulás
• Big Data nagy változós probléma - Véletlenszerű erdő (RF)
• Reprezentációs tanulás
• Mély tanulás
• Big Data Automatizálási probléma – Multi-model ensemble RF
• Automatizálás a Soft10-M-en keresztül
• LDA és témamodellezés
• Agile tanulás
• Ügynök alapú tanulás - Példa a Telco működéséből
• Elosztott tanulás – Példa a Telco működéséből
• Bevezetés a nyílt forráskódú prediktív elemzési eszközökbe: R, Rapidminer, Mahut
• Skálázhatóbb Analytic-Apache Hama, Spark és CMU Graph labor

2. nap: Session-4 Prediktív analitikai ökoszisztéma-2: Gyakori prediktív analitikai problémák a következőben: Telecom

• Insight analitika
• Vizualizációs elemzés
• Strukturált prediktív analitika
• Strukturálatlan prediktív analitika
• Ügyfélprofilalkotás
• Ajánlás Motor
• Mintaészlelés
• Szabály/forgatókönyv felfedezése – kudarc, csalás, optimalizálás
• A kiváltó ok feltárása
• Érzelemelemzés
• CRM-elemző
• Hálózati elemzés
• Szövegelemzés
• Technológiával támogatott felülvizsgálat
• Csaláselemző
• Valós idejű elemző

3. nap: 1. munkamenet: Hálózati működés elemzése – hálózati hibák, szolgáltatásmegszakítások metaadatokból, IPDR-ből és CRM-ből eredő okok elemzése:

• CPU-használat
• Memóriahasználat
• QoS sorhasználat
• Eszköz hőmérséklete
• Interfész hiba
• IoS verziók
• Útvonali események
• A késleltetési idő eltérései
• Syslog analytics
• Csomagvesztés
• Terhelési szimuláció
• Topológia következtetés
• Teljesítményküszöb
• Készülékcsapdák
• IPDR (IP részletes rekord) gyűjtése és feldolgozása
• IPDR adatok felhasználása az előfizetői sávszélesség-felhasználáshoz, a hálózati interfész használatához, a modem állapotához és a diagnosztikához
• HFC információ

3. nap: 2. munkamenet: Eszközök a hálózati szolgáltatáshiba elemzéséhez:

• Hálózati összefoglaló irányítópult: nyomon követheti az általános hálózati telepítéseket, és nyomon követheti szervezete fő teljesítménymutatóit
• Csúcsidőszakelemzési irányítópult: ismerje meg a csúcskihasználást eredményező alkalmazás- és előfizetői trendeket, helyspecifikus részletességgel
• Útválasztási hatékonysági irányítópult: szabályozza a hálózati költségeket és építsen üzleti eseteket tőkeprojektekhez az összekapcsolási és tranzitkapcsolatok teljes megértésével
• Valós idejű szórakoztatási irányítópult: elérheti a fontos mérőszámokat, beleértve a videómegtekintéseket, az időtartamot és az élmény videóminőségét (QoE)
• IPv6 Transition Dashboard: vizsgálja meg az IPv6 folyamatban lévő bevezetését a hálózaton, és nyerjen betekintést a trendeket vezető alkalmazásokba és eszközökbe
• 1. esettanulmány: Az Alcatel-Lucent Big Network Analytics (BNA) adatbányász
• Többdimenziós mobil intelligencia (m.IQ6)

3. nap : 3. munkamenet: Big Data BI a Marketing-hoz/Értékesítés – Értékesítés/marketing megértése az értékesítési adatokból: (Mindegyik élő prediktív elemző demóval jelenik meg)

• A legnagyobb sebességű ügyfelek azonosítása
• Ügyfelek azonosítása egy adott termékhez
• A megfelelő termékkészlet azonosítása az ügyfél számára (ajánlási motor)
• Piacszegmentációs technika
• Cross-Sale és upsale technika
• Ügyfélszegmentációs technika
• Árbevétel-előrejelzési technika

3. nap: 4. munkamenet: BI szükséges a Telco CFO irodájához:

• A Business pénzügyi igazgatóirodában szükséges analitikai munkák áttekintése
• Új befektetés kockázatelemzése
• Bevétel, profit előrejelzés
• Új ügyfélszerzés előrejelzése
• Veszteség-előrejelzés
• Pénzügyi csaláselemzés ( részletek a következő ülésen )

4. nap: 1. munkamenet: Csalásmegelőzési BI Big Data-tól a Telco-Fraud Analytic-ban:

• Sávszélesség-szivárgás / Sávszélesség-csalás
• Szállítói csalás/projektek túlterhelése
• Ügyfél-visszatérítés/csalási követelések
• Utazási költségtérítési csalások

4. nap: 2. munkamenet: A lemorzsolódás előrejelzésétől a lemorzsolódás megelőzéséig:

• 3 típusú lemorzsolódás: aktív/szándékos, forgó/véletlen, passzív akaratlan
• 3 besorolása a visszatartott ügyfeleknek: Teljes, Rejtett, Részleges
• A churn CRM-változóinak megértése
• Ügyfélviselkedési adatgyűjtés
• Ügyfélérzékelési adatgyűjtés
• Ügyféldemográfiai adatok gyűjtése
• CRM adatok tisztítása
• Strukturálatlan CRM-adatok (ügyfélhívások, jegyek, e-mailek) és ezek konvertálása strukturált adatokká a Churn elemzéshez
• Social Media A CRM új módja az ügyfél-elégedettségi index kinyerésének
• 1. esettanulmány: T-Mobile USA: Lemorzsolódás 50%-kal

4. nap : 3. munkamenet: A prediktív elemzés használata az ügyfelek elégedetlenségének kiváltó okainak elemzésére:

• 1. esettanulmány: Az elégedetlenség összekapcsolása a problémákkal – könyvelés, mérnöki hibák, például szolgáltatáskimaradás, gyenge sávszélesség-szolgáltatás
• 2. esettanulmány: Big Data Minőségbiztosítási irányítópult az ügyfél-elégedettségi index nyomon követésére különféle paraméterek alapján, mint például a hívások eszkalációja, a problémák kritikussága, a függőben lévő szolgáltatáskimaradási események stb.

4. nap: 4. munkamenet: Big Data Irányítópult a különféle adatok és megjelenítések gyors eléréséhez:

• Meglévő alkalmazásplatform integrálása Big Data Dashboard-tal
• Big Data menedzsment
• Esettanulmány a Big Data irányítópultról: Tableau és Pentaho
• Használja a Big Data alkalmazást a helyalapú hirdetés megjelenítéséhez
• Nyomon követési rendszer és menedzsment

5. nap : 1. munkamenet: Hogyan igazoljuk Big Data a BI bevezetését egy szervezeten belül:

• ROI meghatározása Big Data megvalósításhoz
• Esettanulmányok az elemzői idő megtakarítására az adatok gyűjtésére és előkészítésére – a termelékenység növekedése
• Esettanulmányok az ügyfelek lemorzsolódásából származó bevételszerzésről
• Bevételnyereség a helyalapú és egyéb célzott hirdetésekből
• Integrált táblázatkezelő módszerrel kb. kiadás vs. bevételnyereség/megtakarítás a Big Data megvalósításból.

5. nap: 2. munkamenet: Lépésről lépésre az örökölt adatrendszer Big Data-ra való cseréje. Rendszer:

• A gyakorlati Big Data Migrációs ütemterv megértése
• Milyen fontos információkra van szükség egy Big Data megvalósítás megtervezése előtt
• Milyen módszerekkel lehet kiszámítani az adatok mennyiségét, sebességét, változatosságát és valódiságát?
• Hogyan becsüljük meg az adatnövekedést
• Esettanulmányok a 2 Telco-ban

5. nap: 3. és 4. munkamenet: Big Data szállítók áttekintése és termékeik áttekintése. Q/A munkamenet:

• AccentureAlcatel-Lucent
• Amazon –A9
• APTEAN (korábban CDC szoftver)
• Cisco Rendszerek
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• Huawei
• HP
• IBM
• Informatika
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Korábban 10Gen)
• MU Sigma
• Netapp
• Opera megoldások
• Oracle
• Pentaho
• Platfora
• Qliktech
• Kvantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Intézet
• Sisense
• Szoftver AG/Terracotta
• Soft10 automatizálás
• Splunk
• Sqrrl
• Supermicro
• Tableau Szoftver
• Teradata
• Gondoljon a Big Analyticsre
• Tidemark rendszerek
• VMware (Az EMC része)