Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
A Mastra hibakeresési és értékelési alapjai
- Az ügynökök viselkedési modelljeinek és a hibaformákat megértése
- A Mastra alapvető hibakeresési elvei
- Determinisztikus és nem determinisztikus ügynökök műveletének értékelése
Környezetek beállítása az ügynökteszteléshez
- Teszt sandboxok és elkülönített értékelő térképek konfigurálása
- Naplók, nyomvonalak és telemetria kibontása részletes elemzéshez
- Strukturált tesztelésre szolgáló adatkészletek és kérések előkészítése
AI ügynökviselkedés hibakeresése
- Döntési útvonalak és belső gondolkodási jelzések nyomon követése
- Halucinációk, hibák és nem kívánt viselkedések azonosítása
- Megfigyelhetőségi irányítópultok használata a gyökér-ok okosztályozásához
Értékelési metrikák és referenciapontszabványok keretrendszerei
- Kvantitatív és kvalitatív értékelési metrikák meghatározása
- Pontosság, konzisztencia és kontextuális megfelelőség mérése
- Ismételhető értékeléshez referenciadatbázisok alkalmazása
AI ügynökök megbízhatóságmérnöki munkája
- Hosszan futó ügynökök megbízhatóságtesztelések tervezése
- Az ügynökök teljesítményének eltérése és romlásának felismerése
- Kritikus munkafolyamatok biztonságosítása
Minőségellenőrzési folyamatok és automatizálás
- Folyamatos értékeléshez minőségellenőrzési folyamatok létrehozása
- Ügynökök frissítéseinek regressziós tesztelése automatizálva
- Minőségellenőrzés integrálása CI/CD és vállalati munkafolyamatokkal
Halucinációcsökkentési haladó technikák
- Kérésestratégiák a kívánton kívüli kimenetek csökkentéséhez
- Érvényesítési hurokok és önellenőrzési mechanizmusok
- Kísérletezés modellkombinációkkal a megbízhatóság javítása érdekében
Jelentéskészítés, figyelés és folyamatos fejlesztés
- Minőségellenőrzési jelentések és ügynökscorecardok készítése
- Hosszú távú viselkedés és hiba mintázatok figyelése
- Kevésbé evolúciós rendszerekért szabályozott értékelési keretrendszerek iterálása
Összefoglalás és további lépések
Követelmények
- Az AI ügynökök viselkedése és a modellinterakciók megértése
- Gyakorlati tapasztalat összetett szoftwares rendszerek hibakeresésével vagy tesztelésével
- Tapasztalat megfigyelhetőségi és naplózás eszközök használatával
Célcsoport
- Minőségellenőrzési mérnökök
- AI megbízhatósági mérnökök
- Fejlesztők, akik az ügynökök minősége és teljesítményeért felelősek
21 Órák
