OWASP GenAI Biztonság Képzés

1. nap: Alapok és core fenyegetések

1. modul: Az OWASP GenAI Security Project bemutatása (1 óra)

Tanulási célok:

• Az OWASP Top 10-ről az AI-specifikus biztonsági kihívások felé történő evolúció megértése
• Az OWASP GenAI Security Project ökoszisztémájának és erőforrásainak feltárása
• A hagyományos alkalmazásbiztonság és az AI-biztonság közötti fő különbségek azonosítása

Feldolgozott témák:

• Az OWASP GenAI Security Project küldetésének és hatókörének áttekintése
• Bevezetés a Threat Defense COMPASS keretrendszerbe
• Az AI-biztonsági táj és a szabályozási követelmények megértése
• AI-kiválási felületek vs. hagyományos webalkalmazás-sebezhetőségek

Gyakorlati feladat: Az OWASP Threat Defense COMPASS eszköz beállítása és az elsődleges fenyegetési felmérés elvégzése

2. modul: OWASP Top 10 LLM-ekhez - 1. rész (2,5 óra)

Tanulási célok:

• Az első öt kritikus LLM-sebezhetőség elsajátítása
• A támadási vektorok és kihasználási technikák megértése
• Gyakorlati mérséklési stratégiák alkalmazása

Feldolgozott témák:

LLM01: Prompt Injection (Beszúrás)

• Közvetlen és közvetett prompt injection technikák
• A rejtett utasítástámadások és a cross-prompt szennyeződés
• Gyakorlati példák: Chatbotok jailbreakelése és biztonsági intézkedések kijátéka
• Védelmi stratégiák: Bemenet tisztítása, prompt-szűrés, differenciál magánélet

LLM02: Érzékeny információk felfedése

• Képzési adatkinyerés és rendszer prompt szivárgása
• A modell viselkedéselemzése az érzékeny információk feltárása szempontjából
• Adatvédelmi következmények és a szabályozási megfelelés szempontjai
• Mérséklés: Kimenet szűrése, hozzáférés-kezelés, adatok anonimítása

LLM03: Beszállítói lánc sebezhetőségei

• Harmadik fél modellfüggőségei és plugin-biztonság
• Kompromittált képzési adathalmazok és modellmérgezés
• Szállítói kockázatelemzés AI-komponensekhez
• Biztonságos modell-telepítés és ellenőrzési gyakorlatok

Gyakorlati feladat: Kézi labor, amely a prompt injection támadásokat demonstrálja sebezhető LLM-alkalmazásokon, és védőintézkedések megvalósítását biztosítja

3. modul: OWASP Top 10 LLM-ekhez - 2. rész (2 óra)

Feldolgozott témák:

LLM04: Adat- és modellmérgezés

• A képzési adatok manipulálási technikái
• A modell viselkedésének módosítása mérgezett bemeneteken keresztül
• Backdoor támadások és az adintegritás ellenőrzése
• Megelőzés: Adatvalidációs folyamatok, eredetkövetés

LLM05: Hibás kimeneti kezelés

• Az LLM által generált tartalom biztonságos feldolgozásának hiánya
• Kódbeszúrás AI-generált kimeneten keresztül
• Cross-site scripting (XSS) az AI-válaszokon keresztül
• Kimeneti validációs és tisztítási keretrendszerek

Gyakorlati feladat: Adatmérgezési támadások szimulálása és robusztus kimeneti validációs mechanizmusok megvalósítása

4. modul: Fejlett LLM-fenyegetések (1,5 óra)

Feldolgozott témák:

LLM06: Excesszív ügynökség

• Az autonóm döntéshozatal kockázatai és határmegszorítások
• Az ügynök felhatalmazásának és engedélykezelésének biztonsága
• Véletlen rendszerinterakciók és jogosultság-emelés
• Guardrail-ok és emberi felügyeleti vezérlők implementálása

LLM07: Rendszer prompt szivárgása

• Rendszerek utasításainak kitettségéből eredő sebezhetőségek
• Hitelesítési adatok és logika feltárása a promptokon keresztül
• A rendszer promptjainak kinyerésére irányuló támadási technikák
• A rendszerutasítások és a külső konfigurációk biztonságának biztosítása

Gyakorlati feladat: Biztonságos ügynökarchitektúrák tervezése megfelelő hozzáférés-kezeléssel és monitorozással

2. nap: Fejlett fenyegetések és megvalósítás

5. modul: Az AI-biztonság újabb fenyegetései (2 óra)

Tanulási célok:

• A legfejlettebb AI-biztonsági fenyegetések megértése
• Fejlett detektálási és megelőzési technikák implementálása
• Rugalmas AI-rendszerek tervezése kifinomult támadások ellen

Feldolgozott témák:

LLM08: Vector és Embedding gyengeségek

• RAG-rendszerek sebezhetőségei és vektormenedzser adatbázis-biztonsága
• Embedding mérgezés és hasonlóság manipulálásának támadásai
• Adversarial példák a szemantikus keresésben
• Vektor-tárolók biztonságosítása és anomáliadetektálás implementálása

LLM09: Tévedések és modell megbízhatósága

• Hallucinációk detektálása és mérséklése
• Parszajta felerősítése és az igazságossággal kapcsolatos megfontolások
• Tényellenőrzés és forrásvalidációs mechanizmusok
• Tartalom validálása és az emberi felügyelet integrálása

LLM10: Korlátlan fogyasztás

• Erőforrás-kimerülés és denial-of-service (DoS) támadások
• Ütemezési korlátozás és erőforrás-kezelési stratégiák
• Költségoptimalizálás és költségkeret-vezérlések
• Teljesítménymonitorozás és riasztási rendszerek

Gyakorlati feladat: Biztonságos RAG-folyamat létrehozása vektormenedzser adatbázis-védelemmel és hallucináció-detektálással

6. modul: Agentic AI biztonsága (2 óra)

Tanulási célok:

• Az autonóm AI-ügynökök sajátos biztonsági kihívásainak megértése
• Az OWASP Agentic AI taxonómia alkalmazása valós rendszerekben
• Biztonsági ellenintézkedések implementálása többügynökös környezetekben

Feldolgozott témák:

• Bevezetés az Agentic AI-ba és az autonóm rendszerekbe
• Az OWASP Agentic AI-fenyegetési taxonómia: Ügynöktervezés, Memória, Tervezés, Eszközhasználat, Telepítés
• Többügynökös rendszerek biztonsága és koordinációs kockázatok
• Eszközök félrehasználata, memória mérgezése és cél megszállása (hijacking)
• Az ügynök kommunikációjának és döntéshozatali folyamatainak biztonságosítása

Gyakorlati feladat: Fenyegetésmodellező gyakorlat az OWASP Agentic AI taxonómia használatával egy többügynökös ügyfélszolgálati rendszeren

7. modul: Az OWASP Threat Defense COMPASS megvalósítása (2 óra)

Tanulási célok:

• A Threat Defense COMPASS gyakorlati alkalmazásának elsajátítása
• AI-fenyegetési felmérés integrálása a szervezeti biztonsági programokba
• Teljes körű AI-kockázatkezelési stratégiák kidolgozása

Feldolgozott témák:

• Mélyreható betekintés a Threat Defense COMPASS módszertanba
• OODA hurok integrálása: Observe (Megfigyelés), Orient (Tájékozódás), Decide (Döntés), Act (Cselekvés)
• Fenyegetések leképezése a MITRE ATT&CK és ATLAS keretrendszerekre
• AI-fenyegetési ellenállóképességi stratégiák irányítópultjainak építése
• Integráció a meglévő biztonsági eszközökkel és folyamatokkal

Gyakorlati feladat: Teljes körű fenyegetési felmérés a COMPASS segítségével egy Microsoft Copilot-bevezetési forgatókönyvben

8. modul: Gyakorlati megvalósítás és legjobb gyakorlatok (2,5 óra)

Tanulási célok:

• Biztonságos AI-architektúrák tervezése alapoktól
• Monitorozás és incidenskezelés implementálása AI-rendszerekhez
• Szabályozási keretrendszerek létrehozása az AI-biztonsághoz

Feldolgozott témák:

Biztonságos AI-fejlesztési életciklus:

• Az AI-alkalmazásokhoz szóló „biztonság az alapokban” elvek
• Kódáttekintési gyakorlatok LLM-integrációkhoz
• Tesztelési módszertanok és sebezhetőség-felderítés
• Telepítési biztonság és produkció megerősítése

Monitorozás és detektálás:

• AI-specifikus naplózási és monitorozási követelmények
• Anomáliadetektálás AI-rendszerekhez
• Incidenskezelési eljárások AI-biztonsági eseményekhez
• Krimináltechnikai vizsgálati technikák

Szabályozás és megfelelés:

• AI-kockázatkezelési keretrendszerek és szabályzatok
• Szabályozási megfelelőségi megfontolások (GDPR, AI Act stb.)
• Harmadik fél kockázatelemzése AI-szállítókhoz
• Biztonsági tudatosság-formáló képzések az AI-fejlesztő csapatok számára

Gyakorlati feladat: Teljes körű biztonsági architektúra tervezése egy vállalati AI-csevegőbothoz, beleértve a monitorozást, a szabályozást és az incidenskezelési eljárásokat

9. modul: Eszközök és technológiák (1 óra)

Tanulási célok:

• AI-biztonsági eszközök értékelése és implementálása
• A jelenlegi AI-biztonsági megoldások tájának megértése
• Gyakorlati detektálási és megelőzési képességek kiépítése

Feldolgozott témák:

• AI-biztonsági eszközkörnyezet és szállítói táj
• Open-source biztonsági eszközök: Garak, PyRIT, Giskard
• Kereskedelmi megoldások az AI-biztonsághoz és monitorozáshoz
• Integrációs minták és telepítési stratégiák
• Eszközválasztási kritériumok és értékelési keretrendszerek

Gyakorlati feladat: AI-biztonsági tesztelő eszközök kézi demonstrációja és az implementációs tervezés

10. modul: Jövőbeli trendek és összefoglalás (1 óra)

Tanulási célok:

• Az újabb fenyegetések és a jövő biztonsági kihívásainak megértése
• Folyamatos tanulási és fejlesztési stratégiák kidolgozása
• Műveleti tervek létrehozása a szervezeti AI-biztonsági programokhoz

Feldolgozott témák:

• Új fenyegetések: Deepfakes, fejlett prompt injection, model inversion
• A jövőbeli OWASP GenAI project fejlesztései és ütemterve
• AI-biztonsági közösségek építése és tudásmegosztás
• Folyamatos fejlesztés és fenyegetési hírszerzés integrálása

Műveleti tervezési gyakorlat: 90 napos műveleti terv kidolgozása az OWASP GenAI biztonsági gyakorlatok szervezeti bevezetéséhez