Lépjen kapcsolatba velünk
 Időtartalma 35 órák

Kurzusleírás

Bemutatkozás és diagnosztikai alapfogalmak

  • Áttekintés a LLM rendszerek hibaüzeiről és a gyakori, Ollamára specifikus problémákról
  • Reprodukálható experimentumok és kontrollált környezetek létrehozása
  • Hibakeresési eszköztár: helyi naplók, kérés-válasz rögzítések és sandboxolás

Hibák reprodukálása és izolálása

  • Módszerek a minimális hibaüzek és seedek létrehozására
  • Állapotfüggő és állapotfüggetlen interakciók: kontextusfüggő hibák izolálása
  • Determinisztikus és véletlenszerű viselkedés: a nem determinisztikus viselkedés kontrollálása

Viselkedés-alapú értékelés és metrikák

  • Kvantitatív metrikák: pontosság, ROUGE/BLEU variánsok, kalibráció és perplexitások
  • Kvalitatív értékelések: emberi értékelés és értékelési rubrikák tervezése
  • Feladat-specifikus hűségellenőrzések és elfogadási kritériumok

Automatizált tesztelés és regresszió

  • Egységtesztek promptokhoz és komponensekhez, forgatókönyves és end-to-end tesztek
  • Regressziós suite-ek és arany minta alapvonalak létrehozása
  • CI/CD integráció az Ollama modellfrissítésekhez és automatizált validálási kapukhoz

Megfigyelhetőség és monitorozás

  • Szerkezeti naplózás, elosztott nyomkövetés és korrelációs azonosítók
  • Kulcsfontosságú üzemeltetési metrikák: késleltetés, tokenfelhasználás, hibaráta és minőségi jelek
  • Riasztások, irányítópultok és SLI/SLO mutatók modell-alapú szolgáltatásokhoz

Haladó ok-okozati elemzés

  • Gráfolt promptok, eszköz-hívások és többfordulós áramlatok követése
  • Összehasonlító A/B diagnózisok és ablatációs tanulmányok
  • Adattovábbítás (data provenance), adathalmazok hibakeresése és az adathalmazok által kiváltott hibák kezelése

Biztonság, robusztusság és javítási stratégiák

  • Enyhítési intézkedések: szűrés, megalapozás (grounding), visszakeresés-bővítés (retrieval augmentation) és prompt-vázlatok (prompt scaffolding)
  • Visszavonás (rollback), kanári tesztelés és fokozatos bevezetési minták a modellfrissítésekhez
  • Utóelemzések, tanulságok és folyamatos fejlesztési ciklusok

Összefoglalás és következő lépések

Követelmények

  • Egyértelmű tapasztalat LLM alkalmazások felépítésében és bevezetésében
  • Ismeret az Ollama munkafolyamatokról és a modell-hostingről
  • Tudás a Pythonról, a Dockerről és az alapvető megfigyelhetőségi eszközökről

Célcsoport

  • MI mérnökök
  • ML Ops szakemberek
  • QA csapatok, amelyek a produktív LLM rendszerekért felelnek

Résztvevők száma


Ár per résztvevő

Közelgő kurzusok

Rokon kategóriák