Mély neurális hálózatok megértése Képzés

1. rész – Mélytanulási és DNN alapfogalmak

Bevezetés a mesterséges intelligenciába, gépi tanulásba és mélytanulásba

• A mesterséges intelligencia története, alapfogalmai és gyakori alkalmazásai – távol a területet övező fantáziáktól
• Kollektív intelligencia: sok virtuális ágens által megosztott tudás összesítése
• Genetikus algoritmusok: virtuális ágensek populációjának evolúciója szelekció révén
• A gépi tanulás definíciója.
• Feladattípusok: felügyelt tanulás, felügyelet nélküli tanulás, megerősítéses tanulás
• Művelettípusok: osztályozás, regresszió, klaszterezés, sűrűségbecslés, dimenziócsökkentés
• Példák gépi tanulási algoritmusokra: lineáris regresszió, Naive Bayes, Random Tree
• Gépi tanulás kontra mélytanulás: problémák, amelyeknél a gépi tanulás ma is a legkorszerűbb megoldás (Random Forests és XGBoost)

Neurális hálózat alapfogalmai (alkalmazás: többrétegű perceptron)

• Matematikai alapok átismétlése.
• A neuronhálózat definíciója: klasszikus architektúra, aktiváció és
• A korábbi aktivációk súlyozása, a hálózat mélysége
• A neuronhálózat tanulásának definíciója: költségfüggvények, visszaterjesztés, sztochasztikus gradiens süllyedés, maximum likelihood.
• Neurális hálózat modellezése: bemeneti és kimeneti adatok modellezése a probléma típusa szerint (regresszió, osztályozás...). A dimenzionalitás átka.
• Különbségtétel a több jellemzős adatok és a jel között. A költségfüggvény megválasztása az adatoknak megfelelően.
• Függvény közelítése neuronhálózattal: bemutatás és példák
• Eloszlás közelítése neuronhálózattal: bemutatás és példák
• Adatbővítés: hogyan egyensúlyozzunk ki egy adathalmazt
• A neuronhálózat eredményeinek általánosítása.
• Neurális hálózat inicializálása és regularizációja: L1 / L2 regularizáció, Batch Normalization
• Optimalizálási és konvergencia-algoritmusok

Szabványos ML / DL eszközök

Egyszerű bemutatás előnyökkel, hátrányokkal, az ökoszisztémában elfoglalt helyükkel és használatukkal.

• Adatkezelő eszközök: Apache Spark, Apache Hadoop eszközök
• Gépi tanulás: Numpy, Scipy, Sci-kit
• Magas szintű DL keretrendszerek: PyTorch, Keras, Lasagne
• Alacsony szintű DL keretrendszerek: Theano, Torch, Caffe, Tensorflow

Konvolúciós neurális hálózatok (CNN).

• A CNN-ek bemutatása: alapelvek és alkalmazások
• A CNN alapvető működése: konvolúciós réteg, kernel használata,
• Padding és stride, jellemzőtérkép generálása, összevonási rétegek. 1D, 2D és 3D kiterjesztések.
• Az osztályozásban a legkorszerűbb eredményeket hozó különböző CNN-architektúrák bemutatása
• Képek: LeNet, VGG Networks, Network in Network, Inception, Resnet. Az egyes architektúrák által hozott újítások és általánosabb alkalmazásaik bemutatása (1x1 konvolúció vagy reziduális kapcsolatok)
• Figyelmi modell használata.
• Alkalmazás egy gyakori osztályozási esetre (szöveg vagy kép)
• CNN-ek generáláshoz: szuperfelbontás, pixelről pixelre történő szegmentálás. Bemutatás
• A jellemzőtérképek növelésének fő stratégiái képgeneráláshoz.

Rekurrens neurális hálózatok (RNN).

• Az RNN-ek bemutatása: alapelvek és alkalmazások.
• Az RNN alapvető működése: rejtett aktiváció, visszaterjesztés időben, kibontott változat.
• Továbbfejlődés a Gated Recurrent Units (GRU-k) és az LSTM (Long Short Term Memory) felé.
• A különböző állapotok és az ezen architektúrák által hozott fejlődés bemutatása
• Konvergencia- és eltűnő gradiens problémák
• Klasszikus architektúrák: idősorok előrejelzése, osztályozás...
• RNN Encoder-Decoder típusú architektúra. Figyelmi modell használata.
• NLP-alkalmazások: szó- / karakterkódolás, fordítás.
• Videoalkalmazások: egy videoszekvencia következő generált képének előrejelzése.

Generatív modellek: Variational AutoEncoder (VAE) és Generative Adversarial Networks (GAN).

• A generatív modellek bemutatása, kapcsolat a CNN-ekkel
• Autoencoder: dimenziócsökkentés és korlátozott generálás
• Variational Autoencoder: generatív modell és egy adat eloszlásának közelítése. A látens tér definíciója és használata. Reparametrizációs trükk. Alkalmazások és megfigyelt korlátok
• Generative Adversarial Networks: alapok.
• Kettős hálózati architektúra (generátor és diszkriminátor) váltakozó tanulással, elérhető költségfüggvények.
• A GAN konvergenciája és a felmerülő nehézségek.
• Javított konvergencia: Wasserstein GAN, Began. Earth Moving Distance.
• Alkalmazások képek vagy fényképek generálására, szöveggenerálásra, szuperfelbontásra.

Mély megerősítéses tanulás.

• A megerősítéses tanulás bemutatása: egy ágens irányítása egy meghatározott környezetben
• Állapot és lehetséges műveletek által
• Neurális hálózat használata az állapotfüggvény közelítésére
• Deep Q Learning: tapasztalat-visszajátszás és alkalmazás egy videojáték irányítására.
• A tanulási stratégia optimalizálása. On-policy és off-policy. Actor-critic architektúra. A3C.
• Alkalmazások: egyetlen videojáték vagy digitális rendszer irányítása.

2. rész – Theano a mélytanuláshoz

Theano alapok

• Bevezetés
• Telepítés és konfiguráció

Theano függvények

• bemenetek, kimenetek, frissítések, givens

Neurális hálózat tanítása és optimalizálása Theano segítségével

• Neurális hálózat modellezése
• Logisztikus regresszió
• Rejtett rétegek
• Hálózat tanítása
• Számítás és osztályozás
• Optimalizálás
• Log Loss

A modell tesztelése

3. rész – DNN TensorFlow-val

TensorFlow alapok

• TensorFlow-változók létrehozása, inicializálása, mentése és visszaállítása
• TensorFlow-adatok betáplálása, olvasása és előzetes betöltése
• Hogyan használjuk a TensorFlow infrastruktúrát modellek nagy léptékű tanítására
• Modellek vizualizálása és értékelése TensorBoarddal

TensorFlow mechanizmusok

• Az adatok előkészítése
• Letöltés
• Bemenetek és placeholderek
• A gráf felépítése
  • Következtetés
  • Veszteség
  • Tanítás
• A modell betanítása
  • A gráf
  • A munkamenet
  • Tanítási ciklus
• A modell értékelése
  • Az értékelési gráf felépítése
  • Értékelési kimenet

A perceptron

• Aktivációs függvények
• A perceptron tanulási algoritmusa
• Bináris osztályozás a perceptronnal
• Dokumentumosztályozás a perceptronnal
• A perceptron korlátai

A perceptrontól a szupportvektorgépekig

• Kernelek és a kerneltrükk
• Maximális margójú osztályozás és szupportvektorok

Mesterséges neurális hálózatok

• Nemlineáris döntési határok
• Előrecsatolt és visszacsatolt mesterséges neurális hálózatok
• Többrétegű perceptronok
• A költségfüggvény minimalizálása
• Előreterjesztés
• Visszaterjesztés
• A neurális hálózatok tanulásának javítása

Konvolúciós neurális hálózatok

• Célok
• Modellarchitektúra
• Alapelvek
• Kódszervezés
• A modell elindítása és betanítása
• Modell értékelése

Az alábbi modulok alapvető bemutatása (rövid bevezetés az idő függvényében):

Tensorflow – haladó használat

• Többszálúság és sorok
• Elosztott TensorFlow
• Dokumentáció írása és a modell megosztása
• Adatolvasók testreszabása
• TensorFlow modellfájlok kezelése

TensorFlow Serving

• Bevezetés
• Alapszintű Serving oktatóanyag
• Haladó Serving oktatóanyag
• Inception modell Serving oktatóanyag