Kurzusleírás
1. rész – Deep Learning és DNN-koncepciók
Bevezetés AI, Machine Learning & Deep Learning
- A mesterséges intelligencia története, alapfogalmai és szokásos alkalmazásai messze A tartomány által hordozott fantáziákról Kollektív intelligencia: sok virtuális ágens által megosztott tudás összesítése Genetikai algoritmusok: virtuális ágensek populációjának kifejlesztése kiválasztással Szokásos tanulógép: definíció. Feladatok típusai: felügyelt tanulás, nem felügyelt tanulás, megerősítéses tanulás Műveletek típusai: osztályozás, regresszió, klaszterezés, sűrűségbecslés, dimenziócsökkentés Példák gépi tanulási algoritmusokra: Lineáris regresszió, Naive Bayes, Random Tree Machine learning VS Deep Learning: problémák melyik gépi tanulás marad ma a technika csúcsa (Random Forests & XGBoosts)
A neurális hálózat alapfogalmai (alkalmazás: többrétegű perceptron)
- Emlékeztető a matematikai alapokra. Neuronhálózat definíciója: klasszikus architektúra, aktiváció és korábbi aktiválások súlyozása, hálózat mélysége Neuronhálózat tanulásának definíciója: költségfüggvények, visszaterjedés, sztochasztikus gradiens süllyedés, maximum likelihood. Neurális hálózat modellezése: bemeneti és kimeneti adatok modellezése a probléma típusa szerint (regresszió, osztályozás ...). A dimenzionalitás átka. Különbség a többfunkciós adatok és a jel között. Költségfüggvény kiválasztása az adatok alapján. Funkció közelítése neuronhálózattal: bemutatás és példák Eloszlás közelítése neuronhálózat szerint: bemutatás és példák Adataugmentáció: hogyan lehet egyensúlyozni egy adathalmazt Neuronhálózat eredményeinek általánosítása. Neurális hálózat inicializálása és szabályozása: L1 / L2 regularizálás, kötegelt normalizálás Optimalizálás és konvergencia algoritmusok
Szabványos ML / DL eszközök
Egy egyszerű bemutatót tervezünk az előnyökkel, hátrányokkal, az ökoszisztémában elfoglalt pozícióval és felhasználással.
- Adatkezelő eszközök: Apache Spark, Apache Hadoop Tools Machine Learning: Numpy, Scipy, Sci-kit DL magas szintű keretrendszerek: PyTorch, Keras, Lasagne Alacsony szintű DL keretrendszerek: Theano, Torch, Caffe, Tensorflow
Konvolúciós Neural Networks (CNN).
- A CNN-ek bemutatása: alapelvek és alkalmazások A CNN alapvető működése: konvolúciós réteg, kernel használata, Padding & stride, jellemzőtérkép generálás, rétegek összevonása. 1D, 2D és 3D bővítmények. A különböző CNN-architektúrák bemutatása, amelyek a legkorszerűbb képbesorolást hozták: LeNet, VGG Networks, Network in Network, Inception, Resnet. Az egyes architektúrák által előidézett innovációk és globálisabb alkalmazásaik bemutatása (1x1 konvolúció vagy maradék kapcsolatok) Figyelemmodell használata. Alkalmazás általános osztályozási esetekre (szöveg vagy kép) CNN-ek generálásához: szuperfelbontás, pixel-pixel szegmentálás. A képgeneráláshoz szükséges jellemzőtérképek növelésének főbb stratégiáinak bemutatása.
Ismétlődő Neural Networks (RNN).
- Az RNN-ek bemutatása: alapelvek és alkalmazások. Az RNN alapműködése: rejtett aktiválás, időben visszafelé terjedés, kibontott változat. Evolúció a kapuzott ismétlődő egységek (GRU) és az LSTM (hosszú rövid távú memória) felé. A különböző állapotok és ezen architektúrák által hozott fejlődések bemutatása Konvergencia és eltűnő gradiens problémák Klasszikus architektúrák: Időbeli sorozat előrejelzése, osztályozás ... RNN Encoder Dekóder típusú architektúra. Figyelemmodell használata. NLP alkalmazások: szó / karakter kódolás, fordítás. Videoalkalmazások: a videósorozat következő generált képének előrejelzése.
Generációs modellek: Variational AutoEncoder (VAE) és Generative Adversarial Networks (GAN).
- Generációs modellek bemutatása, kapcsolat a CNN-ekkel Auto-encoder: dimenziócsökkentés és korlátozott generációs Variational Auto-encoder: generációs modell és egy adott eloszlásának közelítése. A látens tér meghatározása és használata. Újraparaméterezési trükk. Alkalmazások és megfigyelt korlátok Generatív ellenséges hálózatok: alapok. Kettős hálózati architektúra (generátor és megkülönböztető) alternatív tanulással, költségfüggvényekkel. A GAN konvergenciája és a felmerült nehézségek. Továbbfejlesztett konvergencia: Wasserstein GAN, Began. Földmozgási távolság. Alkalmazások képek vagy fényképek generálására, szöveggenerálásra, szuperfelbontásra.
Mély Reinforcement Learning.
- Megerősítő tanulás bemutatása: ágens vezérlése meghatározott környezetben Állapot és lehetséges cselekvések szerint Neurális hálózat használata az állapotfüggvény közelítésére Deep Q Tanulás: élményvisszajátszás, és alkalmazás videojáték vezérlésére. A tanulási politika optimalizálása. Szabályzaton belüli és irányelven kívüli. Színészkritikus építészet. A3C. Alkalmazások: egyetlen videojáték vagy digitális rendszer vezérlése.
2. rész – Theano for Deep Learning
Theano alapismeretek
- Bevezetés Telepítés és konfigurálás
Theano függvények
- bemenetek, kimenetek, frissítések, adatok
Neurális hálózat képzése és optimalizálása Theano segítségével
- Neurális hálózat modellezés Logisztikus regresszió Rejtett rétegek Hálózat betanítása Számítástechnika és osztályozás optimalizálás Napló elvesztése
A modell tesztelése
3. rész – DNN Tensorflow használatával
TensorFlow Alapok
- Változók létrehozása, inicializálása, mentése és visszaállítása TensorFlow Adatok betáplálása, olvasása és előtöltése TensorFlow Hogyan használjuk TensorFlow infrastruktúrát a modellek méretarányos betanításához Modellek megjelenítése és kiértékelése a TensorBoard segítségével
TensorFlow Mechanika
- Készítse elő az adatletöltési bemeneteket és a helyőrzőket A GraphS következtetési veszteség képzés elkészítése
A Perceptrontól a vektorgépek támogatásáig
- Kernelek és a kernel trükk Maximális margin osztályozás és támogatási vektorok
Mesterséges Neural Networks
- Nemlineáris döntési határok Feedforward és visszacsatoló mesterséges neurális hálózatok Többrétegű perceptronok A költségfüggvény minimalizálása Előre terjedés Vissza terjedés A neurális hálózatok tanulási módjának javítása
Konvolúciós Neural Networks
- Goals Model Architecture alapelvek Kódszervezés A modell elindítása és betanítása Modell értékelése
- Az alábbi modulok alapvető bemutatása (rövid bevezetés a rendelkezésre álló idő függvényében):
Tensorflow – Speciális használat
Elosztott szálak és sorok TensorFlow Dokumentáció írása és modell megosztása Adatolvasók testreszabása TensorFlow Modellfájlok kezelése
TensorFlow Tálalás
- Bevezetés Alapvető kiszolgálási oktatóanyag Speciális kiszolgálási oktatóanyag Útmutató a kiszolgálás kezdeti modelljéhez
Követelmények
Fizika, matematika és programozási háttér. Képfeldolgozási tevékenységekben való részvétel.
A küldötteknek előzetesen ismerniük kell a gépi tanulási koncepciókat, és Python programozáson és könyvtárakon kellett dolgozniuk.