Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Bevezetés és Diagnosztikai Alapok
- Áttekintés az LLM rendszerek hibaműködéseiről és az Ollama-specifikus gyakori problémákról
- Reprodukálható kísérletek és kontrollált környezetek létrehozása
- Hibakeresési eszközkészlet: helyi naplók, kérés/válasz rögzítések és sandboxolás
Hibák reprodukálása és izolálása
- Technikák minimális hibás példányok és magvak létrehozására
- Állapotfüggő és állapotmentes interakciók: kontextusfüggő hibák izolálása
- Determinizmus, véletlenszerűség és nem determinisztikus viselkedés szabályozása
Viselkedési Értékelés és Metrikák
- Kvantitatív metrikák: pontosság, ROUGE/BLEU változatok, kalibráció és perplexitás proxik
- Kvalitatív értékelések: emberi részvételű pontozás és értékelési kritériumok tervezése
- Feladatspecifikus pontossági ellenőrzések és elfogadási kritériumok
Automatizált Tesztelés és Regresszió
- Egységtesztek a promptok és komponensek számára, forgatókönyv és végpontok közötti tesztek
- Regresszió tesztkészletek és arany példa alapvonalak létrehozása
- CI/CD integráció az Ollama modellfrissítésekhez és automatizált érvényesítési kapukhoz
Megfigyelhetőség és Monitorozás
- Strukturált naplózás, elosztott nyomkövetések és korrelációs azonosítók
- Kulcsfontosságú működési metrikák: késleltetés, token használat, hibák aránya és minőségi jelek
- Riasztások, irányítópultok és SLI/SLO-k modell-alapú szolgáltatásokhoz
Haladó Ok-okozati Elemzés
- Nyomkövetés gráfos promptok, eszközhívások és többlépcsős folyamatok között
- Összehasonlító A/B diagnózis és ablációs tanulmányok
- Adat eredet, adatkészlet hibakeresés és adatkészlet által okozott hibák kezelése
Biztonság, Robusztusság és Javítási Stratégiák
- Megelőző intézkedések: szűrés, lehorgonyzás, lekérdezéses bővítés és prompt állványozás
- Visszaállítás, canary és fokozatos bevezetési minták modellfrissítésekhez
- Utanvizsgálatok, tanulságok és folyamatos fejlesztési ciklusok
Összefoglalás és Következő Lépések
Követelmények
- Széleskörű tapasztalat LLM alkalmazások fejlesztésében és üzembe helyezésében
- Ismeret az Ollama munkafolyamataival és modell üzemeltetésével
- Kényelem a Python, Docker és alapvető megfigyelhetőségi eszközök használatában
Célközönség
- Mesterséges intelligenciával foglalkozó mérnökök
- ML Ops szakemberek
- QA csapatok, akik felelősek az éles LLM rendszerekért
35 Órák
