Lépjen kapcsolatba velünk

Kurzusleírás

Bevezetés az LLMOps-ba

  • Az LLMOps és az MLOps különbségei: az LLM-ek üzemeltetésének egyedi kihívásai
  • Az LLM-alkalmazás életciklusa: prompt, értékelés, elterjesztés, megfigyelés
  • A GenAI alkalmazások üzleti élethelyzetre való felkészülésének ellenőrzőlista

Prompt-kezelés és verziókezelés

  • Prompt-sablontrendszerek és változó-beillesztés
  • Szemantikus verziókezelés a prompt-okhoz automatikus regressziós tesztekkel
  • Prompt-katalógusok és együttműködési munkafolyamatok

Nagy léptékű LLM-értékelés

  • Értékelési dimenziók: pontosság, relevancia, biztonság, hitelesség (groundedness)
  • Az "LLM mint bíró" metrikák és emberi értékelési pályák
  • Automatizált értékelő keretrendszerek: RAGAS, DeepEval és egyéni értékelők
  • Minőségi kapuk a CI/CD folyamatokban LLM-elterjesztésekhez

Biztonsági korlátok és tartalomfelügyelet

  • Bemeneti és kimeneti korlátok: NeMo Guardrails és Guardrails AI
  • PII (személyes adat) észlelése, toxicitás-szűrés és témakörök határai
  • Jailbreak- és prompt-beinjektálás elleni védekezési stratégiák
  • LLM-alkalmazások piros sapkás tesztelése (red-teaming) a biztonság biztosítása érdekében

LLM-megfigyelhetőség és monitorozás

  • Telemetria: token-használat, késés, költség és minőségi metrikák
  • Az LLM-kimenetekben és a beágyazási terekben (embedding spaces) történő drift észlelése
  • Munkamenetszintű nyomkövetés többfordulós ügynökbeszélgetésekhez
  • Kezelőkészletek (dashboards) és értesítések a LangSmith, Arize és OpenTelemetry segítségével

AI-kapu és modell-orkesztráció

  • Több szolgáltatót figyelembe vevő irányítás LiteLLM és Portkey segítségével
  • Tartalék működési stratégiák, retry-logika és áramkör-megszakítók (circuit breakers)
  • Költségtudatos modellválasztás és terheléselosztás
  • Szélességkorlátozás (rate limiting), kvóta-kezelés és API-kulcs-felügyelet

Teljesítmény-optimalizálás

  • Szemantikus gyorsítótárazás vektoros adatbázisokkal és pontos egyezésű stratégiákkal
  • Strukturált kimenet kikényszerítése korlátozott dekódolással (constrained decoding)
  • Tömbösítés, streamelés és párhuzamosítási minták
  • Késés-optimalizálás a modell-szolgáltatók között

Felügyelet, megfelelés és ellenőrzés

  • LLM-ellenőrzési naplók: prompt-naplók, válasznaplok és döntések eredetének igazolása
  • Az LLM-API-k adatmegtartási (data residency) és adatvédelmi szempontjai
  • Szabályzat-kód (Policy-as-code) az LLM-használatra a szervezeteken belül
  • Belső LLM-üzemeltetési kézikönyv összeállítása

Követelmények

  • Gyakorlati tapasztalat LLM-alapú alkalmazások fejlesztésében vagy integrálásában.
  • Ismeretek a Python nyelvről és a REST API-król.
  • Alapfokú ismeretek a prompt mérnöki fogalmairól.

Célcsoport

  • ML mérnökök és MLOps szakemberek, akik az LLM-üzemeltetésre váltanak.
  • Az LLM-infrastruktúráért felelős platformmérnökök.
  • Műszaki vezetőik, akik az üzleti élethelyzetbeli GenAI elterjesztéseket irányítják.
 14 Órák

Résztvevők száma


Ár per résztvevő

Vélemények (2)

Közelgő kurzusok

Rokon kategóriák