Mély neurális hálózatok megértése Képzés

1. rész – Mély tanulás és DNN fogalmak

Bevezetés az mesterséges intelligencia, a gépi tanulás és a mély tanulásba

• Az mesterséges intelligencia története, alapfogalmai és szokványos alkalmazása az e területen elhozott fantasziák mellett.
• Kolektív intelligencia: a sok virtuális ügynök által megosztott ismeretek összegyűjtése
• Genetikai algoritmusok: egy populáció evolúciójának elérése kiválasztás útján
• Szokványos gépi tanuló: definíció.
• Feladattípusok: felügyelt, nem felügyelt és erősített tanulás
• Cselekménytípusok: osztályozás, regresszió, fürtözés, sűrűségbecslés, dimenzionalitás csökkentése
• Gépi tanulás algoritmusai példái: Lineáris regresszió, Naive Bayes, Véletlenszerű fa
• Gépi tanulás vs. Mély tanulás: olyan problémák, ahol a gépi tanulás ma is az állapotot meghatározó (Véletlenszerű erdők és XGBoosts)

Neurális hálózat alapfogalmai (Alkalmazás: többrétegű perceptron)

• Matematikai alapok emlékeztető.
• Neurális hálózat definíciója: klasszikus architektúra, aktivációs és
• Korábbi aktivációk súlyozása, hálózat mélysége.
• Neurális hálózat tanulásának definíciója: költségfunkciók, visszamenőleges terjedés, sztochasztikus gradiens lejtő, maximális valószínűséges eljárás.
• Neurális hálózat modellezése: bemeneti és kimeneti adatok modellezése a probléma típusától függően (regresszió, osztályozás...). Dimenzionalitás árukölcsön.
• Többdimenziós adat és jel közötti különbség. Adatköltségfunkció választása adatainak függvényében.
• Függvény közelítése neurális hálózattal: bemutatás és példák
• Elsőször jel eloszlásának közelítése neurális hálózattal: bemutatás és példák
• Adatkiterjesztés: hogyan balanszítható egy adathalmaz.
• Neurális hálózat eredményeinek általánosítása.
• Neurális hálózat inicializálása és regularizálása: L1 / L2 regularizáció, törzsnormálizálás
• Optimalizálási és konvergenciarendszerek.

Standard ML / DL eszközök

Egy egyszerű bemutatás előnyeivel, hátrányaival, helyzete az ökoszisztémában és használatával.

• Adatkezelési eszközök: Apache Spark, Apache Hadoop eszközök
• Gépi tanulás: Numpy, Scipy, Sci-kit
• Mély szintű DL keretrendszerek: PyTorch, Keras, Lasagne
• Alacsony szintű DL keretrendszerek: Theano, Torch, Caffe, Tensorflow

Konvolúciós neurális hálózatok (CNN).

• CNN-k bemutatása: alapvető elvek és alkalmazások.
• CNN alapműködése: konvolúciós réteg, kernel használata,
• Padding & lépés (stride), jellemző térkép generálás, pooling rétegek. 1D, 2D és 3D kiterjesztések.
• Azok a CNN architektúrák bemutatása, amelyek a legjobb eredményt hozták el osztályozásban
• Képek: LeNet, VGG Networks, Network in Network, Inception, Resnet. Az egyes architektúrák által hozott innovációk és általánosabb alkalmazásuk bemutatása (1x1 konvolúció vagy maradékcsatlakozás)
• Ügyés modell használata.
• Alkalmazás közös osztályozási esetekre (szöveg vagy kép).
• CNN-k generáló célú alkalmazása: szuper-mintavételezés, pixel-pixel szegmentálás. A
• Főként a jellemző térképek növelésére irányuló stratégiák képadatok generálásához.

Ismétlődő neurális hálózatok (RNN).

• RNN-k bemutatása: alapvető elvek és alkalmazások.
• Alapműködés a RNN-nél: rejtett aktiváció, időben visszamenőleges terjedés, kifejtett verzió.
• Fejlődés az áramlási egységek (GRUs) és LSTM (Long Short Term Memory) felé.
• Azon architektúrák különböző állapotainak és fejlődésük bemutatása
• Konvergencia és eltűnő gradiens problémák.
• Klasszikus architektúrák: idősor előrejelzése, osztályozás...
• RNN Encoder Decoder típusú architektúra. Ügyés modell használata.
• NLP alkalmazások: szó / karakter kódolása, fordítás.
• Videóalkalmazások: következő kép előrejelzése videósorozatból.

Generáló modellek: Variational AutoEncoder (VAE) és Generative Adversarial Networks (GAN).

• A generáló modellek bemutatása, kapcsolata a CNN-kkel.
• Auto-encoder: dimenzionalitás csökkentése és korlátozott generálás.
• Variational Auto-encoder: generáló modell és eloszlás közelítése adott. Első szintű tér definíciója és használata. Reparameterizációs trükk. Alkalmazások és megfigyelt korlátok.
• Generative Adversarial Networks: alapvető elvek.
• Dualis hálózati architektúra (Generátor és diszkriminátor) váltakozóan tanulva, elérhető költségfunkciók.
• GAN konvergenciája és találkozott nehézségek.
• Javított konvergencia: Wasserstein GAN, Began. Földmozgás távolság.
• Alkalmazások képek vagy fotók generálására, szöveggenerálásra, szuper-mintavételezésre.

Mély erősített tanulás.

• Erősített tanulás bemutatása: egy ügynök kontrollja a meghatározott környezetben.
• Egy állapot és lehetséges cselekmények alapján
• Neurális hálózat használata az állapotfüggvény közelítéséhez.
• Mély Q tanulás: tapasztalat visszajátszása, alkalmazása a videójáték kontrolljára.
• Tanulási szabályzás optimalizálása. On-policy && off-policy. Actor critic architektúra. A3C.
• Alkalmazások: egyetlen videójáték vagy digitális rendszer kontrollja.

2. rész – Theano a mély tanuláshoz

Theano alapjai

• Bevezetés
• Telepítés és konfiguráció.

TheanoFunctions

• bemenetek, kimenetek, frissítések, adatok

Neurális hálózat tanítása és optimalizálása Theano-val

• Neurális hálózat modellezése
• Logisztikus regresszió
• Rejtett rétegek
• Hálózat tanítása
• Számolás és osztályozás
• Optimalizálás
• Loges veszteség

A modell tesztelése

3. rész – DNN a Tensorflow segítségével

TensorFlow alapjai

• TensorFlow változók létrehozása, inicializálása, mentése és visszaállítása
• Adatok adás, olvasás és előkészítés a TensorFlow-ban.
• Hogyan használható a TensorFlow infrastruktúrája nagyméretű modelltanításhoz
• Modell tesztelése és kiértékelése TensorBoard segítségével.

TensorFlow mechanikája

• Adatok előkészítése
• Letöltés
• Bemenetek és helyettesítők
• Gráfok építése
  • Inference (inference)
  • Veszteség (loss)
  • Tanítás (training)
• Modell tanítása
  • Gráf
  • Munkamenet (session)
  • Tanítási ciklus (train loop)
• Modell kiértékelése
  • Kiértékelési gráf építése (eval graph)
  • Kiértékelési kimenet (eval output)

A perceptron

• Aktivációs függvények
• A perceptron tanulási algoritmus
• Kétkategorikus osztályozás a perceptron segítségével
• Szöveg osztályozása a perceptron segítségével
• A perceptron korlátai

A perceptronról az ütemező gépekig

• Kernel függvények és a kernel trükk
• Maximális margó osztályozás és ütemező pontok

Mesterséges neurális hálózatok

• Nemlineáris döntési határak
• Előre haladó és visszafelé haladó mesterséges neurális hálózatok
• Többrétegű perceptronok
• Költségfunkció minimalizálása
• Előre haladó terjedés (forward propagation)
• Visszamenőleges terjedés (back propagation)
• A neurális hálózat tanulási folyamatának javítása

Konvolúciós neurális hálózatok

• Célok
• Modell architektúra
• Elvek
• Kód szerkezete
• Modell indítása és tanítása
• Modell kiértékelése

A következő modulok alapvető bemutatásának megadása (részletes bevezetés a rendelkezésre álló időtől függően):

Tensorflow - haladó használat

• Szálak és sorok
• Tensorflow elosztott telepítése
• Dokumentáció írása és modell megosztása
• Egyéni adatolvasók készítése
• Tensorflow modelfájlok kezelése

TensorFlow szolgáltatás

• Bevezetés
• Alapvető szolgáltatási oktatóanyag
• Haladó szolgáltatási oktatóanyag
• Inception modell szolgáltatási oktatóanyag