Hangosztályozás és eseményfelismerés gépi tanulással Képzés

A hangosztályozás alapjai

• Hangeseménytípusok: környezeti, mechanikus, emberi eredetű
• Felhasználási esetek áttekintése: megfigyelés, felügyelet, automatizálás
• Hangosztályozás, észlelés és szegmentálás közötti különbségek

Hangadatok és jellemzőkinyerés

• Hangfájlok típusai és formátumai
• Mintavételi frekvencia, ablakozás, keretméret szempontjai
• MFCC-k, chroma jellemzők és mel-spektrogramok kinyerése

Adat-előkészítés és annotáció

• UrbanSound8K, ESC-50 és egyedi adatkészletek
• Hangesemények és időbeli határok címkézése
• Adatkészletek kiegyensúlyozása és hangadatok kiegészítése (augmentáció)

Hangosztályozási modellek építése

• Konvolúciós neurális hálózatok (CNN-ek) használata hangadatokhoz
• Modellbemenet: nyers hullámforma vagy jellemzők
• Veszteségfüggvények, értékelési mutatók és túltanulás

Eseményfelismerés és időbeli lokalizáció

• Kockaalapú és szegmensalapú felismerési stratégiák
• Az észlelések utófeldolgozása küszöbértékekkel és simítással
• Előrejelzések megjelenítése hang-idővonalakon

Haladó témák és valós idejű feldolgozás

• Transzfer tanulás kevés adattal rendelkező helyzetekre
• Modellek telepítése TensorFlow Lite vagy ONNX segítségével
• Streamelt hangfeldolgozás és késleltetési megfontolások

Projektfejlesztés és alkalmazási forgatókönyvek

• Teljes folyamat tervezése: adatbeviteltől az osztályozásig
• Prototípus (proof-of-concept) fejlesztése megfigyeléshez, minőségellenőrzéshez vagy felügyelethez
• Naplózás, riasztás és integráció irányítópultokkal vagy API-kkal

Összefoglalás és következő lépések