Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Bevezetés az LLMOps-ba
- Az LLMOps és az MLOps különbségei: az LLM-ek üzemeltetésének egyedi kihívásai
- Az LLM-alkalmazás életciklusa: prompt, értékelés, elterjesztés, megfigyelés
- A GenAI alkalmazások üzleti élethelyzetre való felkészülésének ellenőrzőlista
Prompt-kezelés és verziókezelés
- Prompt-sablontrendszerek és változó-beillesztés
- Szemantikus verziókezelés a prompt-okhoz automatikus regressziós tesztekkel
- Prompt-katalógusok és együttműködési munkafolyamatok
Nagy léptékű LLM-értékelés
- Értékelési dimenziók: pontosság, relevancia, biztonság, hitelesség (groundedness)
- Az "LLM mint bíró" metrikák és emberi értékelési pályák
- Automatizált értékelő keretrendszerek: RAGAS, DeepEval és egyéni értékelők
- Minőségi kapuk a CI/CD folyamatokban LLM-elterjesztésekhez
Biztonsági korlátok és tartalomfelügyelet
- Bemeneti és kimeneti korlátok: NeMo Guardrails és Guardrails AI
- PII (személyes adat) észlelése, toxicitás-szűrés és témakörök határai
- Jailbreak- és prompt-beinjektálás elleni védekezési stratégiák
- LLM-alkalmazások piros sapkás tesztelése (red-teaming) a biztonság biztosítása érdekében
LLM-megfigyelhetőség és monitorozás
- Telemetria: token-használat, késés, költség és minőségi metrikák
- Az LLM-kimenetekben és a beágyazási terekben (embedding spaces) történő drift észlelése
- Munkamenetszintű nyomkövetés többfordulós ügynökbeszélgetésekhez
- Kezelőkészletek (dashboards) és értesítések a LangSmith, Arize és OpenTelemetry segítségével
AI-kapu és modell-orkesztráció
- Több szolgáltatót figyelembe vevő irányítás LiteLLM és Portkey segítségével
- Tartalék működési stratégiák, retry-logika és áramkör-megszakítók (circuit breakers)
- Költségtudatos modellválasztás és terheléselosztás
- Szélességkorlátozás (rate limiting), kvóta-kezelés és API-kulcs-felügyelet
Teljesítmény-optimalizálás
- Szemantikus gyorsítótárazás vektoros adatbázisokkal és pontos egyezésű stratégiákkal
- Strukturált kimenet kikényszerítése korlátozott dekódolással (constrained decoding)
- Tömbösítés, streamelés és párhuzamosítási minták
- Késés-optimalizálás a modell-szolgáltatók között
Felügyelet, megfelelés és ellenőrzés
- LLM-ellenőrzési naplók: prompt-naplók, válasznaplok és döntések eredetének igazolása
- Az LLM-API-k adatmegtartási (data residency) és adatvédelmi szempontjai
- Szabályzat-kód (Policy-as-code) az LLM-használatra a szervezeteken belül
- Belső LLM-üzemeltetési kézikönyv összeállítása
Követelmények
- Gyakorlati tapasztalat LLM-alapú alkalmazások fejlesztésében vagy integrálásában.
- Ismeretek a Python nyelvről és a REST API-król.
- Alapfokú ismeretek a prompt mérnöki fogalmairól.
Célcsoport
- ML mérnökök és MLOps szakemberek, akik az LLM-üzemeltetésre váltanak.
- Az LLM-infrastruktúráért felelős platformmérnökök.
- Műszaki vezetőik, akik az üzleti élethelyzetbeli GenAI elterjesztéseket irányítják.
14 Órák
Vélemények (2)
megfelelő és hatékony prompt használata
Marses Pacaldo
Kurzus - Generative AI and Prompt Engineering for Corporate Professionals
Gépi fordítás
Az interaktív stílus, a gyakorlatok
Tamas Tutuntzisz
Kurzus - Introduction to Prompt Engineering
Gépi fordítás