Kurzusleírás
1. modul – Hogyan törnek be az AI alkalmazások
Labor: nincs – architektúra bemutató és vita
A fejlesztő mentális modellje a támadási felületről.
Témák:
- LLM, RAG és ügynök architektúrák a fejlesztő oldaláról
- egy AI funkció kérés/válasz életciklusa
- prompt folyam: rendszer, fejlesztő, felhasználó és eszköz üzenetek
- ahol a nem megbízható adatok bekerülnek (vagy újra bekerülnek) a modellbe
- a bizalmi határok, amelyeket a fejlesztő birtokol vs. örököl
- miért szemantikusak, nem szintaktikusak az AI támadások
- az OWASP LLM Top 10 leképezése a kódra, amit írsz
Kulcsbelátás: Minden hely, ahol a nem megbízható szöveg eléri a modellt – vagy a modell kimenete eléri a kódodat – egy határ, amelyet te birtokolsz.
2. modul – Prompt injekció fejlesztőknek
Labor: 01. labor – 01-Prompt-Injekció
Az „SQL injekció pillanat” az AI-nál – de nem lehet teljesen elkerülni.
Témák:
- közvetlen vs. közvetett prompt injekció
- rejtett utasítások dokumentumokban, weboldalakban, eszköz kimenetben
- jailbreak és szerepkeverés
- miért fontos az utasítás/adat szétválasztás
- védekező prompt tervezés (határolók, struktúra, minimális jogosultság)
- miért részleges a megelőzés – tervezés a hatókör korlátozására
Gyakorlat:
- támadd meg a saját chatbotod
- kerülj ki egy naiv szűrőt
- strukturáld át a promptot a hatókör csökkentésére
3. modul – A modell kimenetének nem megbízhatóként való kezelése
Labor: 02. labor – 02-Kimenet-Kezelés
A hibafajta, amelyet a fejlesztők leginkább alábecsülnek.
Témák:
- a modell kimenete nem megbízható bemenet az alkalmazás többi részénél
- biztonságtalan kimenet kezelés (LLM02): XSS, SSRF, parancs/SQL injekció lefelé
- soha ne eval/exec/render nyers modell kimenetet
- strukturált kimenetek és séma érvényesítés
- kimenet kódolás és engedélyező listák
- biztonságos renderelés web/UI kontextusokban
Gyakorlat:
- keress meg és javíts egy biztonságtalan-kimenet-kezelési sebezhetőséget
- érvényesíts egy JSON sémát a modell válaszokon
4. modul – RAG biztonság
Labor: 03. labor – 03-RAG-Biztonság
Az egyik legnagyobb új támadási felület – és neked kell építeni.
Témák:
- vektor DB és lekérdezési fenyegetések
- betöltési tisztítás
- dokumentum eredethűség és bizalmi pontozás
- lekérdezési hatókör és metaadat izoláció
- rejtett utasítások a lekérdezett tartalomban (közvetett injekció)
- adatkiszivárgás lekérdezésen keresztül
Gyakorlat: - mérgezd meg egy RAG folyamatot egy rosszindulatú dokumentummal - add hozzá a betöltési tisztítást és lekérdezési hatókört a védelemhez
5. modul – Ügynök és eszköz biztonság
Labor: 04. labor – 04-Ügynök-Biztonság
Ahol a hiba cselekvéssé válik.
Témák:
- túlzott ügynöki jogosultság (LLM06) és eszköz visszaélés
- legkisebb jogosultság az ügynököknél
- eszköz engedélyező listák és argumentum érvényesítés
- jóváhagyási kapuk és emberi beavatkozás
- eszköz végrehajtás homokozása
- hatókörös, rövid életű hitelesítő adatok az ügynököknek
- autonóm hurkok és láncolás korlátozása
Gyakorlat:
- zárd le egy túl jogosultságú ügynököt
- adj hozzá egy engedélyező listát + jóváhagyási kaput egy veszélyes eszközhöz
6. modul – Kulcsok, identitás és költség
Labor: 05. labor – 05-Kulcsok-és-Költség
A működési hibák, amelyek a leggyorsabban fájnak.
Témák:
- API kulcs és titok kezelés (soha ne a promptban, kódban vagy naplókban)
- felhasználónkénti hitelesítés és engedélyezés AI funkcióknál
- felhasználói identitás propagálása eszközökre és lekérdezésre
- pénztárca megtagadása: korlátlan token/költség felhasználás
- aránykorlátozás, token költségvetés és időkorlátok
- naplózás titkok vagy személyes adatok kiszivárgása nélkül
Gyakorlat:
- szerezd ki a titkokat a prompt/kód útvonalból
- adj hozzá felhasználónkénti aránykorlátozást és egy token/költség költségvetést
7. modul – Korlátkönyvtárak
Labor: 06. labor – 06-Korlátok
Vásárolj vs. építs bemeneti/kimeneti biztonsághoz.
Témák:
- mit tesznek a korlátkönyvtárak (és mit nem)
- bemeneti korlátok: injekció/PII/téma osztályozók
- kimeneti korlátok: érvényesítés, szűrés, alapozás ellenőrzések
- mikor alkalmas egy korlát vs. saját determinisztikus ellenőrzés
- rétegezett korlátok a korábbi modulokból származó ellenőrzésekkel
- teljesítmény, hamis pozitívok és hibamódok
Gyakorlat:
- adj hozzá egy bemeneti/kimeneti korlát réteget egy AI funkcióhoz
- mérd meg, mit fog el és mit nem
8. modul – Saját alkalmazás red-teamelése
Labor: 07. labor – 07-Red-Teaming
Szállítsd úgy, mintha már egy támadó birtokolná.
Témák:
- építs egy visszaélési/tesztelési készletet AI funkciókhoz
- automatizált prompt-injekció és jailbreak tesztek
- regressziós tesztelés korlátokra és szabályzatokra
- AI biztonsági ellenőrzések futtatása CI-ben
- modell és függőségi ellátási lánc (eredethűség, rögzítés)
- egy előszállítási biztonsági ellenőrzőlista AI funkciókhoz
Gyakorlat:
- írj automatizált red-team teszteket egy AI funkcióhoz
- kösd be őket egy CI ellenőrzésbe
9. modul – AI biztonság pontozása: A SAIS-100 keretrendszer
Labor: nincs – pontozási gyakorlat (a Capstone alkalmazást használja)
Alakítsd mindent, amit építettél, egy ismételhető pontszámmá.
Témák:
- az AI Biztonság Hexagon: hat kérdés a „biztonságos-e?” helyett
- a hat pontozott kategória (Adat, Prompt, Ügynök, Ellátási Lánc, Észlelés, Irányítás)
- a 100 pontos rubrika és súlyozásai
- végső sávok és az egy kategória felülbírálási szabály
- az Elephant Scale Secure AI Score (SAIS-100) mint márkás, újrafuttatható keretrendszer
- pontozás megerősítés előtt/után metrikaként
Gyakorlat:
- pontozd a Capstone alkalmazást a 100 pontos skálán
- nevezd meg azt az egyetlen változtatást, amely a legjobban növeli a pontszámot
Kulcsbelátás: A három legmagasabb súlyú kategória leképezi a fejlesztő által birtokolt bizalmi határokat – így a pontszám pontosan azt méri, amit ez a kurzus tanított.
Capstone
A tanulók végig megerősítenek egy szándékosan sebezhető AI alkalmazást.
A kezdő alkalmazás tartalmaz:
- egy injektálható promptot
- biztonságtalan kimenet kezelést
- egy hatókör nélküli RAG folyamatot
- egy túl jogosultságú ügynököt
- titkokat a prompt útvonalban
- nincsenek költségkorlátok
A tanulók alkalmazzák a kurzust:
- strukturálják át a promptokat a hatókör korlátozására
- érvényesítik és kódolják a modell kimenetét
- tisztítják és hatókörözik a lekérdezést
- alkalmazzák a legkisebb jogosultságot és jóváhagyási kapukat az ügynökhöz
- kiveszik a titkokat és hozzáadnak költség/aránykorlátozásokat
- hozzáadnak korlátokat és automatizált red-team teszteket
Készítmény: egy megerősített alkalmazás plusz egy rövid OWASP LLM Top 10 önértékelés.
Modul – Labor leképezés
A laborok a modulok sorrendjében futnak. A kurzus 9 modulból és 7 laborból áll: az 1. modul egy architektúra bemutató/vita, a 9. modul pedig egy pontozási gyakorlat, így egyiknek sincs saját labor mappája.
- 01. labor - 01-Prompt-Injekció: Támadd meg a chatbotodat és tervezz a hatókör korlátozására (2. modul)
- 02. labor - 02-Kimenet-Kezelés: Javíts egy biztonságtalan-kimenet-kezelési hibát (3. modul)
- 03. labor - 03-RAG-Biztonság: Mérgezd meg, majd védd meg egy RAG folyamatot (4. modul)
- 04. labor - 04-Ügynök-Biztonság: Zárd le egy túl jogosultságú ügynököt (5. modul)
- 05. labor - 05-Kulcsok-és-Költség: Biztosítsd a kulcsokat és adj hozzá költségkorlátokat (6. modul)
- 06. labor - 06-Korlátok: Adj hozzá egy bemeneti/kimeneti korlát réteget (7. modul)
- 07. labor - 07-Red-Teaming: Automatizált red-team tesztek CI-ben (8. modul)
Az 1. modul (Hogyan törnek be az AI alkalmazások) nincs labor – architektúra bemutatóként és vitaként fut. A 9. modul (AI biztonság pontozása) nincs labor mappa – pontozási gyakorlatként fut a Capstone alkalmazással.
Követelmények
- Középhaladó szint.
- A tanulóknak kényelmesnek kell lenniük: REST API-k építésével és használatával, egy szkriptnyelvvel (a laborok Python-t használnak), alapvető alkalmazás hitelesítéssel, git-tel és a CLI-val.
- Nincs szükség gépi tanulási háttérre – ez egy alkalmazásbiztonsági kurzus azoknak, akik LLM-ekkel építenek, nem pedig azoknak, akik képzik őket.
Célközönség
- Szoftver / backend mérnökök, akik LLM funkciókat fejlesztenek
- Full-stack és API fejlesztők
- AI/ML alkalmazásmérnökök
- Copilotokat és ügynököket szállító platformmérnökök
- Tech vezetők és senior mérnökök, akik AI funkciókért felelnek
Vélemények (2)
Nagyon élveztem, hogy megismerhettem az AI támadásokat és azokat az eszközöket, amelyekkel gyakorolni és aktívan használni lehet a biztonsági teszteléshez. Sok olyan tudást szereztem, ami a kezdetekkor még nem állt rendelkezésemre, és a tanfolyam teljesítette az elvárásaimat. A képzésből a Comet Browser volt a kedvenc részem, és lenyűgözött, hogy mire képes. Mindenképpen tovább szeretnék ezzel foglalkozni. Összességében nagyszerű tanfolyam volt, és élveztem, hogy megismerhettem az OWASP GenAI Top 10 összes elemét.
Patrick Collins - Optum
Kurzus - OWASP GenAI Security
Gépi fordítás
A szakmai ismeretek és az úgy, ahogyan ő bemutatta ezeket nekünk
Miroslav Nachev - PUBLIC COURSE
Kurzus - Cybersecurity in AI Systems
Gépi fordítás
