OWASP GenAI biztonság Képzés

1. nap: Alapok és alapvető fenyegetések

1. modul: Bevezetés az OWASP GenAI Security Project-be (1 óra)

Tanulási célok:

• Értsük meg az OWASP Top 10-től az AI-specifikus biztonsági kihívásokig történő fejlődést
• Fedezzük fel az OWASP GenAI Security Project ökoszisztémáját és erőforrásait
• Azonosítsuk a fő különbségeket a hagyományos alkalmazásbiztonság és az AI biztonság között

Foglalt tárgyak:

• Áttekintés az OWASP GenAI Security Project küldetéséről és hatóköréről
• Bevezetés a Threat Defense COMPASS keretrendszerbe
• Értelmeztessük az AI biztonsági környezetet és a szabályozási követelményeket
• AI támadási felületek a hagyományos webes alkalmazás sebezhetőségekkel szemben

Gyakorlati gyakorlat: Az OWASP Threat Defense COMPASS eszköz beállítása és az első fenyegetésértékelés végrehajtása

2. modul: OWASP Top 10 LLM-ekhez - 1. rész (2,5 óra)

Tanulási célok:

• Sajátítsuk el az öt kritikus LLM sebezhetőséget
• Értsük meg a támadási vektorokat és a kihasználási technikákat
• Alkalmazzunk gyakorlati enyhítési stratégiákat

Foglalt tárgyak:

LLM01: Prompt injektálás

• Közvetlen és közvetett prompt injektálási technikák
• Rejtett utasítási támadások és keresztprompt szennyezés
• Gyakorlati példák: Chatbotok birtokba vétele és a biztonsági intézkedések megkerülése
• Védelmi stratégiák: Bemeneti tisztítás, prompt szűrés, differenciális privátság

LLM02: Érzékeny információk kiáradása

• Betekinthető adatok kinyerése és rendszerprompt áramlása
• Modellviselkedés elemzése az érzékeny információk kiáradásához
• Privátság vonatkozásai és a szabályozási megfelelőségi megfontolások
• Egyébítés: Kimeneti szűrés, hozzáférési vezérlés, adat-anonimizálás

LLM03: Beszállító-lánc sebezhetőségek

• Harmadik féltől származó modell-függőségek és bővítménybiztonság
• Megsértett betekinthető adatok és modell-poisoning
• Szállítói kockázatértékelés AI komponensekre
• Biztonságos modell-bevezetési és ellenőrzési gyakorlatok

Gyakorlati gyakorlat: A prompt injektálási támadások demonstrálása sérülékeny LLM alkalmazásokkal és a védelmi intézkedések megvalósítása

3. modul: OWASP Top 10 LLM-ekhez - 2. rész (2 óra)

Foglalt tárgyak:

LLM04: Adat és modell szennyezés

• Betekinthető adatok manipulálási technikák
• Modellviselkedés módosítása megfertőzött bemenetekkel
• Háttérajtós támadások és adategység ellenőrzés
• Előrejelzés: Adat-validációs csatornák, provenienciókövetés

LLM05: Nem megfelelő kimeneti kezelés

• Nem biztonságos LLM-generált tartalom feldolgozása
• Kódinjektálás AI-generált kimeneten keresztül
• Kereszthitelizésű skriptelés AI-válaszon keresztül
• Kimeneti validálás és tisztítási keretrendszerek

Gyakorlati gyakorlat: Adatszennyező támadások szimulálása és a robust kimeneti validációs mechanizmusok megvalósítása

4. modul: Haladó LLM fenyegetések (1,5 óra)

Foglalt tárgyak:

LLM06: Túlzott autonómia

• Önálló döntéshozatali kockázatok és határsértések
• Agent hatáskör és jogosultsági kezelés
• Nem szándékos rendszerinterakciók és jogosultság-emelkedés
• Gyorsítók és emberi felügyeleti vezérlések bevezetése

LLM07: Rendszerprompt áramlása

• Rendszerutasítások kitettségének sebezhetősége
• Jelentőségi és logika-kijelentkezés promptokon keresztül
• Támadási technikák a rendszerpromptok kinyeréséhez
• Rendszerutasítások és külső konfiguráció biztosítása

Gyakorlati gyakorlat: Biztonságos agent architektúrák tervezése megfelelő hozzáférési vezérléssel és figyeléssel

2. nap: Haladó fenyegetések és megvalósítás

5. modul: Előremutató AI fenyegetések (2 óra)

Tanulási célok:

• Értsük meg a legújabb AI biztonsági fenyegetéseket
• Alkalmazzunk haladó felismerési és megelőzési technikákat
• Tervezzünk rugalmas AI rendszereket a kifinomult támadásokkal szemben

Foglalt tárgyak:

LLM08: Vektor és beágyazási gyengeségek

• RAG rendszer sebezhetőségei és vektoradatbázis biztonsága
• Beágyazási szennyezés és hasonlósági manipulációs támadások
• Adversziális példák a szemantikai keresésben
• Vektor tároló biztonságának biztosítása és anomália felismerés bevezetése

LLM09: Téves információk és modellbizonyosság

• Halucináció felismerés és enyhítés
• Torzulás erősítése és equitabilitas megfontolások
• Tényszerű ellenőrzés és forrásellenőrzési mechanizmusok
• Tartalom-validálás és emberi felügyelet beépítése

LLM10: Korlátlan fogyasztás

• Forrás kimerülése és szolgáltatás-megtagadási támadások
• Sebességkorlát és forrás-kezelési stratégiák
• Költség-optimalizálás és költségkeret vezérlés
• Performance figyelés és riasztási rendszerek

Gyakorlati gyakorlat: Biztonságos RAG csatorna építése vektoradatbázis-védelemmel és halucináció-felismeréssel

6. modul: Agentikus AI biztonság (2 óra)

Tanulási célok:

• Értsük meg az autonóm AI agensek egyedi biztonsági kihívásait
• Alkalmazzuk az OWASP Agentic AI taxonómiát valós rendszerre
• Biztonsági intézkedések bevezetése több agenses környezetekben

Foglalt tárgyak:

• Bevezetés az Agentic AI-ba és az autonóm rendszerekbe
• OWASP Agentic AI fenyegetés taxonómia: Agent tervezés, memória, tervezés, eszközhasználat, bevezetés
• Több agenses rendszer biztonsága és koordinációs kockázatok
• Eszközmisszélések, memória szennyezés és cél-elhárítási támadások
• Agent kommunikáció és döntéshozatali folyamatok biztonságának biztosítása

Gyakorlati gyakorlat: Fenyegetésmodellező gyakorlat az OWASP Agentic AI taxonómiával egy több agenses ügyfél-szolgálati rendszeren

7. modul: OWASP Threat Defense COMPASS bevezetése (2 óra)

Tanulási célok:

• Sajátítsuk el a Threat Defense COMPASS gyakorlati alkalmazását
• Integráljuk az AI fenyegetésértékelést a szervezeti biztonsági programokba
• Fejlesszünk átfogó AI kockázatkezelési stratégiákat

Foglalt tárgyak:

• Mélyebb átfogás a Threat Defense COMPASS módszertanban
• OODA hurok integráció: Megfigyelés, Orientáció, Döntés, Cselekvés
• Fenyegetések leképezése MITRE ATT&CK és ATLAS keretrendszerre
• AI Fenyegetés Rugalmassági Stratégia Irányítópultok építése
• Integráció a meglévő biztonsági eszközökkel és folyamatokkal

Gyakorlati gyakorlat: Teljes fenyegetésértékelés a COMPASS segítségével a Microsoft Copilot bevezetési forgatókönyvre

8. modul: Gyakorlati megvalósítás és jó gyakorlatok (2,5 óra)

Tanulási célok:

• Erős AI architektúrák tervezése a nulláról
• Figyelési és incidenst kezelési bevezetése AI rendszerekhez
• Biztositási keretrendszerek kidolgozása AI biztonsághoz

Foglalt tárgyak:

Biztonságos AI fejlesztési életciklus:

• Biztonság a tervezéskor elve AI alkalmazásokra
• Kód-vizsgálati gyakorlatok LLM integrációkra
• Tesztelési módszertanok és sebezhetősésvizsgálat
• Bevezetési biztonság és gyártási merevség

Figyelem és felismerés:

• AI-specifikus naplózási és figyelési követelmények
• Anomália felismerés AI rendszerekhez
• Incident kezelés eljárási AI biztonsági eseményekhez
• Forenzika és vizsgálati technikák

Biztosítás és megfelelőség:

• AI kockázatkezelési keretrendszerek és politikák
• Regulációs megfelelőségi megfontolások (GDPR, AI Act, stb.)
• Harmadik féltől származó kockázatértékelés AI szállítókra
• Biztonsági tudatosság képzés AI fejlesztő csapatok számára

Gyakorlati gyakorlat: Egy teljes biztonsági architektúra tervezése egy vállalati AI chatbotnak, beleértve a figyelést, a biztosítást és az incidenst kezelési eljárásiakat

9. modul: Eszközök és technológiák (1 óra)

Tanulási célok:

• AI biztonsági eszközök kiértékelése és bevezetése
• Értsük meg a jelenlegi AI biztonsági megoldások ökoszisztémáját
• Gyakorlati felismerési és megelőzési készségek fejlesztése

Foglalt tárgyak:

• AI biztonsági eszközökoszisztéma és szállítói ökoszisztéma
• Nyílt forráskódú biztonsági eszközök: Garak, PyRIT, Giskard
• Kereskedelmi megoldások AI biztonsághoz és figyeléshez
• Integrációs minták és bevezetési stratégiák
• Eszközválasztási szempontok és kiértékelési keretrendszerek

Gyakorlati gyakorlat: AI biztonsági tesztelő eszközök demonstrálása és a bevezetési tervezés

10. modul: Jövőbeli trendek és lezárás (1 óra)

Tanulási célok:

• Értsük meg az elmaradott fenyegetéseket és a jövőbeli biztonsági kihívásokat
• Fejlesszünk folyamatos tanulási és javítási stratégiákat
• Cselekvési terv kidolgozása a szervezeti AI biztonsági programokhoz

Foglalt tárgyak:

• Elmaradott fenyegetések: Deepfake, haladó prompt injektálás, modell-inverz
• Jövőbeli OWASP GenAI projektfejlesztések és útvonalterv
• AI biztonsági közösségek építése és tudásmegosztás
• Folyamatos javítás és fenyegetés-információ integráció

Cselekvési terv gyakorlat: 90 napos cselekvési terv kidolgozása az OWASP GenAI biztonsági gyakorlatok bevezetéséhez a résztvevők szervezeteiben