Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Időtartalma 35 órák
Kurzusleírás
Bemutatkozás és diagnosztikai alapfogalmak
- Áttekintés a LLM rendszerek hibaüzeiről és a gyakori, Ollamára specifikus problémákról
- Reprodukálható experimentumok és kontrollált környezetek létrehozása
- Hibakeresési eszköztár: helyi naplók, kérés-válasz rögzítések és sandboxolás
Hibák reprodukálása és izolálása
- Módszerek a minimális hibaüzek és seedek létrehozására
- Állapotfüggő és állapotfüggetlen interakciók: kontextusfüggő hibák izolálása
- Determinisztikus és véletlenszerű viselkedés: a nem determinisztikus viselkedés kontrollálása
Viselkedés-alapú értékelés és metrikák
- Kvantitatív metrikák: pontosság, ROUGE/BLEU variánsok, kalibráció és perplexitások
- Kvalitatív értékelések: emberi értékelés és értékelési rubrikák tervezése
- Feladat-specifikus hűségellenőrzések és elfogadási kritériumok
Automatizált tesztelés és regresszió
- Egységtesztek promptokhoz és komponensekhez, forgatókönyves és end-to-end tesztek
- Regressziós suite-ek és arany minta alapvonalak létrehozása
- CI/CD integráció az Ollama modellfrissítésekhez és automatizált validálási kapukhoz
Megfigyelhetőség és monitorozás
- Szerkezeti naplózás, elosztott nyomkövetés és korrelációs azonosítók
- Kulcsfontosságú üzemeltetési metrikák: késleltetés, tokenfelhasználás, hibaráta és minőségi jelek
- Riasztások, irányítópultok és SLI/SLO mutatók modell-alapú szolgáltatásokhoz
Haladó ok-okozati elemzés
- Gráfolt promptok, eszköz-hívások és többfordulós áramlatok követése
- Összehasonlító A/B diagnózisok és ablatációs tanulmányok
- Adattovábbítás (data provenance), adathalmazok hibakeresése és az adathalmazok által kiváltott hibák kezelése
Biztonság, robusztusság és javítási stratégiák
- Enyhítési intézkedések: szűrés, megalapozás (grounding), visszakeresés-bővítés (retrieval augmentation) és prompt-vázlatok (prompt scaffolding)
- Visszavonás (rollback), kanári tesztelés és fokozatos bevezetési minták a modellfrissítésekhez
- Utóelemzések, tanulságok és folyamatos fejlesztési ciklusok
Összefoglalás és következő lépések
Követelmények
- Egyértelmű tapasztalat LLM alkalmazások felépítésében és bevezetésében
- Ismeret az Ollama munkafolyamatokról és a modell-hostingről
- Tudás a Pythonról, a Dockerről és az alapvető megfigyelhetőségi eszközökről
Célcsoport
- MI mérnökök
- ML Ops szakemberek
- QA csapatok, amelyek a produktív LLM rendszerekért felelnek