Kurzusleírás
1. nap: Alapok és Alapvető Fenyegetések
Modul 1: Bevezetés az OWASP GenAI Biztonsági Projektbe (1 óra)
Tanulási Célok:
- Megérteni az OWASP Top 10 és a GenAI-specifikus biztonsági kihívások közötti fejlődést
- Felfedezni az OWASP GenAI Biztonsági Projekt ökoszisztémáját és erőforrásait
- Azonosítani a hagyományos alkalmazásbiztonság és az AI biztonság közötti kulcsbeli különbségeket
Témakörök:
- Az OWASP GenAI Biztonsági Projekt céljának és hatókörének áttekintése
- Bevezetés a Threat Defense COMPASS keretrendszerbe
- Az AI biztonsági térkép és szabályozási követelmények megértése
- AI támadási felületek vs hagyományos webalkalmazás-sebezhetőségek
Gyakorlati Feladat: Az OWASP Threat Defense COMPASS eszköz beállítása és kezdeti fenyegetés-felmérés végrehajtása
Modul 2: OWASP Top 10 LLM-hez - 1. rész (2,5 óra)
Tanulási Célok:
- Elsajátítani az első öt kritikus LLM sebezhetőséget
- Megérteni a támadási vektorokat és kihasználási technikákat
- Gyakorlati enyhítő stratégiák alkalmazása
Témakörök:
LLM01: Prompt Injection
- Közvetlen és közvetett prompt injection technikák
- Rejtett utasításos támadások és kereszt-prompt szennyezés
- Gyakorlati példák: Chatbotok jailbreakelése és biztonsági intézkedések megkerülése
- Védelmi stratégiák: Bemeneti tisztítás, prompt szűrés, differenciális adatvédelem
LLM02: Érzékeny Információk Kiszivárgása
- Tanuló adatok kinyerése és rendszerprompt kiszivárgás
- Modell viselkedés elemzése érzékeny információk kiszivárgására
- Adatvédelmi következmények és szabályozási megfontolások
- Enyhítés: Kimeneti szűrés, hozzáférés-vezérlés, adatanonimizálás
LLM03: Ellátási Lánc Sebezhetőségek
- Harmadik féltől származó modell függőségek és plugin biztonság
- Sérült tanuló adathalmazok és modellmérgezés
- Beszállítói kockázatfelmérés AI komponensekhez
- Biztonságos modell telepítés és ellenőrzési gyakorlatok
Gyakorlati Feladat: Gyakorlati labor, amely bemutatja a prompt injection támadásokat sebezhető LLM alkalmazásokon és védelmi intézkedések implementálását
Modul 3: OWASP Top 10 LLM-hez - 2. rész (2 óra)
Témakörök:
LLM04: Adat- és Modellmérgezés
- Tanuló adatok manipulációs technikái
- Modell viselkedés módosítása mérgezett bemenetekkel
- Backdoor támadások és adatintegritás ellenőrzés
- Megelőzés: Adatérvényesítési folyamatok, származás nyomon követése
LLM05: Nem Megfelelő Kimeneti Kezelés
- LLM által generált tartalom nem biztonságos feldolgozása
- Kód injekció AI által generált kimeneteken keresztül
- Cross-site scripting AI válaszokon keresztül
- Kimeneti érvényesítés és tisztítási keretrendszerek
Gyakorlati Feladat: Adatmérgezési támadások szimulálása és robusztus kimeneti érvényesítési mechanizmusok implementálása
Modul 4: Haladó LLM Fenyegetések (1,5 óra)
Témakörök:
LLM06: Túlságos Önállóság
- Autonóm döntéshozatali kockázatok és határátlépések
- Agent engedélyek és jogosultságkezelés
- Nem szándékolt rendszerinterakciók és jogosultságemelkedés
- Korlátok és emberi felügyeleti ellenőrzések implementálása
LLM07: Rendszerprompt Kiszivárgása
- Rendszerutasítások kiszivárgásának sebezhetőségei
- Hitelesítő adatok és logika kiszivárgása promptokon keresztül
- Támadási technikák a rendszerpromptok kinyerésére
- Rendszerutasítások és külső konfiguráció biztonságossá tétele
Gyakorlati Feladat: Biztonságos agent architektúrák tervezése megfelelő hozzáférés-vezérléssel és monitorozással
2. nap: Haladó Fenyegetések és Implementáció
Modul 5: Újító AI Fenyegetések (2 óra)
Tanulási Célok:
- Megérteni a legújabb AI biztonsági fenyegetéseket
- Haladó észlelési és megelőzési technikák implementálása
- Ellenálló AI rendszerek tervezése kifinomult támadások ellen
Témakörök:
LLM08: Vektor és Beágyazási Gyengeségek
- RAG rendszerek sebezhetőségei és vektoradatbázis biztonság
- Beágyazásmérgezés és hasonlóságmanipulációs támadások
- Ellenséges példák a szemantikus keresésben
- Vektor tárolók biztosítása és anomália észlelés implementálása
LLM09: Félrevezető Információ és Modell Megbízhatóság
- Hallucinációk észlelése és enyhítése
- Torzítás erősítése és tisztességességi megfontolások
- Tényellenőrzés és forrásérvényesítési mechanizmusok
- Tartalomérvényesítés és emberi felügyelet integrálása
LLM10: Korlátlan Fogyasztás
- Erőforrás kimerülés és szolgáltatásmegtagadási támadások
- Sebességkorlátozás és erőforráskezelési stratégiák
- Költségoptimalizálás és költségvetési ellenőrzések
- Teljesítmény monitorozás és riasztási rendszerek
Gyakorlati Feladat: Biztonságos RAG folyamat építése vektoradatbázis védelmével és hallucinációk észlelésével
Modul 6: Agentikus AI Biztonság (2 óra)
Tanulási Célok:
- Megérteni az autonóm AI agentek egyedi biztonsági kihívásait
- Alkalmazni az OWASP Agentikus AI taxonómiát valós rendszerekre
- Biztonsági ellenőrzések implementálása többagentes környezetekhez
Témakörök:
- Bevezetés az Agentikus AI és autonóm rendszerekbe
- OWASP Agentikus AI Fenyegetési Taxonómia: Agent Tervezés, Memória, Tervezés, Eszközhasználat, Telepítés
- Többagentes rendszerek biztonsága és koordinációs kockázatok
- Eszköz visszaélés, memóriamérgezés és céleltérítés támadások
- Agent kommunikáció és döntéshozatali folyamatok biztosítása
Gyakorlati Feladat: Fenyegetésmodellezési gyakorlat az OWASP Agentikus AI taxonómia használatával egy többagentes ügyfélszolgálati rendszeren
Modul 7: OWASP Threat Defense COMPASS Implementáció (2 óra)
Tanulási Célok:
- Elsajátítani a Threat Defense COMPASS gyakorlati alkalmazását
- Integrálni az AI fenyegetés-felmérést a szervezeti biztonsági programokba
- Átfogó AI kockázatkezelési stratégiák kifejlesztése
Témakörök:
- Mély merülés a Threat Defense COMPASS módszertanába
- OODA Loop integráció: Megfigyelés, Orientáció, Döntés, Cselekvés
- Fenyegetések leképezése a MITRE ATT&CK és ATLAS keretrendszerekre
- AI Fenyegetés Elleni Reziliencia Stratégia Irányítópultok építése
- Integráció a meglévő biztonsági eszközökkel és folyamatokkal
Gyakorlati Feladat: Teljes fenyegetés-felmérés végrehajtása a COMPASS segítségével egy Microsoft Copilot telepítési forgatókönyvhöz
Modul 8: Gyakorlati Implementáció és Ajánlott Eljárások (2,5 óra)
Tanulási Célok:
- Biztonságos AI architektúrák tervezése a földtől felépítve
- Monitorozás és incidenskezelés implementálása AI rendszerekhez
- Irányítási keretrendszerek létrehozása AI biztonsághoz
Témakörök:
Biztonságos AI Fejlesztési Életciklus:
- Biztonság-tervezés alapelvek AI alkalmazásokhoz
- Kód áttekintési gyakorlatok LLM integrációkhoz
- Tesztelési módszertanok és sebezhetőség vizsgálat
- Telepítési biztonság és termelési keményítés
Monitorozás és Észlelés:
- AI-specifikus naplózási és monitorozási követelmények
- Anomália észlelés AI rendszerekhez
- Incidenskezelési eljárások AI biztonsági eseményekhez
- Kriminalisztikai és vizsgálati technikák
Irányítás és Megfelelőség:
- AI kockázatkezelési keretrendszerek és irányelvek
- Szabályozási megfelelőségi megfontolások (GDPR, AI törvény, stb.)
- Harmadik féltől származó kockázatfelmérés AI beszállítókhoz
- Biztonsági tudatossági képzés AI fejlesztőcsapatok számára
Gyakorlati Feladat: Teljes biztonsági architektúra tervezése egy vállalati AI chatbot számára, beleértve a monitorozást, irányítást és incidenskezelési eljárásokat
Modul 9: Eszközök és Technológiák (1 óra)
Tanulási Célok:
- Kiértékelni és implementálni AI biztonsági eszközöket
- Megérteni a jelenlegi AI biztonsági megoldások piacát
- Gyakorlati észlelési és megelőzési képességek építése
Témakörök:
- AI biztonsági eszközök ökoszisztémája és beszállítói piac
- Nyílt forráskódú biztonsági eszközök: Garak, PyRIT, Giskard
- Kereskedelmi megoldások AI biztonsághoz és monitorozáshoz
- Integrációs minták és telepítési stratégiák
- Eszköz kiválasztási kritériumok és értékelési keretrendszerek
Gyakorlati Feladat: AI biztonsági tesztelő eszközök bemutatása és implementációs tervezés
Modul 10: Jövőbeli Trendek és Összefoglaló (1 óra)
Tanulási Célok:
- Megérteni az újító fenyegetéseket és a jövőbeli biztonsági kihívásokat
- Folyamatos tanulási és fejlesztési stratégiák kialakítása
- Akciótervek készítése a szervezeti AI biztonsági programokhoz
Témakörök:
- Újító fenyegetések: Deepfake-ek, haladó prompt injection, modell inverzió
- Az OWASP GenAI projekt jövőbeli fejlesztései és útiterve
- AI biztonsági közösségek építése és tudásmegosztás
- Folyamatos fejlesztés és fenyegetés intelligencia integráció
Akciótervezési Gyakorlat: 90 napos akcióterv készítése az OWASP GenAI biztonsági gyakorlatok szervezeti implementálásához
Követelmények
- Általános ismeretek a webalkalmazás-biztonság elveiről
- Alapfokú ismeretek az AI/ML fogalmakról
- Előnyös, ha van tapasztalat biztonsági keretrendszerekben vagy kockázatfelmérési módszertanokban
Közönség
- Cybersecurity szakemberek
- AI fejlesztők
- Rendszerarchitektusok
- Megfelelőségi tisztviselők
- Biztonsági gyakorlók
Vélemények (3)
Az oktatók válaszolhatnak minden kérdésre és fogadhatnak bármilyen megkeresést
Dewi Anggryni - PT Dentsu International Indonesia
Kurzus - Copilot for Finance and Accounting Professionals
Gépi fordítás
Az AI felhasználási esetek és alkalmazásainak átvétele segítőnek volt. Elégedett voltam az egyes mesterséges intelligencia ügynökök körutatással.
Axel Schulz - CANARIE Inc
Kurzus - Microsoft 365 Copilot: AI Productivity Across Word, Excel, PowerPoint, Outlook, and Teams
Gépi fordítás
Szívesen vette fel, hogy a képző rendkívül sok tudást rendelkezett és ezt bennünket keresztül osztotta meg.
Daria Pawlak - LKQ POLSKA SPOLKA Z OGRANICZONA ODPOWIEDZIALNOSCIA
Kurzus - Microsoft 365 Copilot Chat for Word, Excel, PowerPoint, and Outlook
Gépi fordítás