Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Bevezetés és Diagnosztikai Alapok
- Hibaüzemmódok áttekintése LLM rendszereknél és Ollama-specifikus problémák
- Ismétlődő kísérletek és kontrollált környezetek létrehozása
- Hibakeresési eszközök: helyi naplók, kérés/válasz felvételek, és szándékos hibák
Hibák Reprodukálása és Elkülönítése
- Minimális hibás példák és magvak létrehozására alkalmas technikák
- Állapotos és állapot nélküli interakciók: kontextushoz kapcsolódó hibák elkülönítése
- Determinizmus, véletlenség és nem determinisztikus viselkedés ellenőrzése
Viselkedési Értékelés és Mértékek
- Mennyiségi mértékek: pontosság, ROUGE/BLEU változatai, kalibrálás, és perplexity helyettesítői
- Minőségi értékelések: emberi beavatkozásos pontszámadás és rubrika tervezés
- Feladat specifikus hűségellenőrzések és elfogadási kritériumok
Automatizált Tesztelés és Regresszió
- Unit tesztek prompts és komponensekhez, scenario és end-to-end tesztek
- Regressziós szuitek és arany példa alapvonalak létrehozása
- CI/CD integráció Ollama modellfrissítésekre és automatizált validációs kapukra
Láthatóság és Monitorozás
- Szervezett naplózás, elosztott nyomkövetés, és korrelációs azonosítók
- Kulcs operációs mértékek: késleltetés, token használat, hibakódok, és minőségi jelek
- Értesítések, dashboards, és SLIs/SLOs modellalapú szolgáltatásokhoz
Haladó Gyökokutatás
- Nyomkövetés grafikonok, eszközhívások, és több forduló folyamatok között
- Összehasonlító A/B diagnózis és ablációs tanulmányok
- Adathoz kapcsolódó eredet, adathalmaz hibakeresés, és adathalmaz által okozott hibák kezelése
Biztonság, Biztonságosság és Jelentségei
- Csökkentések: szűrés, alapozás, lekérés erősítése, és prompt struktúrázás
- Visszaállítás, canary, és fázisos kiterjesztési minták modellfrissítésekre
- Poszt mortem elemzések, tanulmányok, és folyamatos javítási ciklusok
Összegzés és Következő Lépések
Követelmények
- Bő tapasztalat LLM alkalmazások építésében és telepítésében
- Ismeret az Ollama munkafolyamatokkal és modell-házasságával
- Komfortos Python, Docker, és alapvető megfigyelési eszközök használatában
Célközönség
- AI mérnökök
- ML Ops szakemberek
- QA csapatok, akik felelősek a termelésben lévő LLM rendszerekre
35 Órák
