Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Időtartalma 35 órák
Kurzusleírás
Bevezetés és diagnosztikai alapok
- Az LLM-rendszerek hibamódjainak és a gyakori Ollama-specifikus problémáknak az áttekintése
- Reprodukálható kísérletek és ellenőrzött környezetek kialakítása
- Hibakeresési eszköztár: helyi naplók, kérés/válasz rögzítések és sandboxing
Hibák reprodukálása és elkülönítése
- Minimális hibapéldák és seedek létrehozásának technikái
- Állapotos és állapot nélküli interakciók: kontextushoz kötött hibák elkülönítése
- Determinizmus, véletlenszerűség és a nem-determinisztikus viselkedés szabályozása
Viselkedési értékelés és metrikák
- Mennyiségi metrikák: pontosság, ROUGE/BLEU-változatok, kalibráció és perplexitás-helyettesítők
- Minőségi értékelések: human-in-the-loop pontozás és rubrikatervezés
- Feladat-specifikus hűségellenőrzések és elfogadási kritériumok
Automatizált tesztelés és regresszió
- Unit tesztek prompokhoz és komponensekhez, forgatókönyv- és végpontok közötti tesztek
- Regressziós csomagok és arany példa alapvonalak létrehozása
- CI/CD-integráció az Ollama-modellfrissítésekhez és automatizált érvényesítési kapuk
Megfigyelhetőség és monitoring
- Strukturált naplózás, elosztott nyomkövetések és korrelációs azonosítók
- Kulcsfontosságú üzemeltetési metrikák: késleltetés, tokenhasználat, hibaarány és minőségi jelek
- Riasztások, irányítópultok és SLI/SLO-k modellalapú szolgáltatásokhoz
Haladó gyökérokelemzés
- Nyomkövetés gráfos prompokon, eszközhívásokon és többfordulós folyamatokon keresztül
- Összehasonlító A/B diagnózis és ablációvizsgálatok
- Adatszármazás, adathalmaz-hibakeresés és adathalmaz okozta hibák kezelése
Biztonság, robusztusság és helyreállítási stratégiák
- Kockázatcsökkentések: szűrés, grounding, keresés-kiegészítés és promptállványozás
- Visszagördítési, canary és fokozatos bevezetési minták modellfrissítésekhez
- Post-mortemek, tanulságok és folyamatos fejlesztési ciklusok
Összefoglalás és következő lépések
Követelmények
- Erős tapasztalat LLM-alkalmazások építésében és telepítésében
- Az Ollama-munkafolyamatok és a modellhoszting ismerete
- Magabiztos ismeretek Python, Docker és alapvető megfigyelhetőségi eszközök terén
Célközönség
- MI-mérnökök
- ML Ops-szakemberek
- Az éles LLM-rendszerekért felelős QA-csapatok
