Lépjen kapcsolatba velünk

Kurzusleírás

Offline EXO Telepítés

  • Az EXO_OFFLINE használata a futásidejű internet-hozzáférés megakadályozására
  • Modellek előzetes betöltése az EXO_MODELS_READ_ONLY_DIRS-be megbízható belső tükrökről
  • Modellsúlyok integritásának ellenőrzése SHA-256 ellenőrzőösszegekkel és aláírt modellkártyákkal
  • Az EXO futtatása légréses hálózatokban HuggingFace függőségek nélkül

Dashboard és API Hozzáférés Szabályozás

  • Fordított proxyk (nginx, Caddy) telepítése és konfigurálása TLS lezárással
  • Szerepalapú hozzáférés-ellenőrzés implementálása az EXO dashboard és REST API számára
  • Titkok tárolása az API hitelesítéshez macOS keychain vagy Linux pass használatával
  • Adminisztratív végpontok korlátozása meghatározott forrás IP-tartományokra

Klaszter Elkülönítés és Hálózati Biztonság

  • EXO klaszterek szegmentálása EXO_LIBP2P_NAMESPACE és VLAN-ok segítségével
  • Gazdagépi tűzfalak konfigurálása (macOS alkalmazási tűzfal, iptables, nftables) EXO portokhoz
  • Jogosulatlan eszközfelderítés és rosszindulatú csomópontok befecskendezésének megakadályozása
  • Libp2p forgalom titkosítása csomópontok között, ha RDMA nem elérhető

Modell Irányítás és Származtatás

  • Belső modellregiszter létrehozása jóváhagyott modelllistákkal és metaadatokkal
  • Kvantált súlyok (4-bit, 8-bit) címkézése és verziókövetése a forrás ellenőrzőpontok mellett
  • Kényszerítés, hogy csak meghatározott HuggingFace tárolók vagy belső artefaktok tölthetők be
  • Modell származtatás, licencfeltételek és elfogadható használati szabályzatok dokumentálása

Naplózás és Megfelelőség

  • EXO napló továbbításának konfigurálása változtathatatlan naplózási nyomvonalakba (SIEM, WORM tároló)
  • API hívásnaplók korrelálása felhasználói azonosítóval és időbélyeggel
  • Modellpéldányok létrehozásának, törlésének és inferencia kérések eseményeinek rögzítése
  • Időszakos megfelelőségi jelentések generálása belső és külső auditálók számára

Veszélyelemzés és Incidenskezelés

  • Veszélyek azonosítása: adatok kiszivárgása modellkimeneteken keresztül, prompt injekció, oldalcsatornás szivárgások
  • Prompt monitorozás és tartalomszűrési folyamatok implementálása
  • Incidenskezelési forgatókönyvek létrehozása klaszterkompromittálás esetére
  • Érintett csomópontok elkülönítése, kriminalisztikai naplók megőrzése, tiszta környezetek újjáépítése

Fizikai Biztonság és Hardverhatárok

  • Thunderbolt portok biztonságossá tétele jogosulatlan RDMA kábelkapcsolatok ellen
  • Biztonságos enclave-ok és Apple Silicon hardveres hitelesítés használata, ahol alkalmazható
  • Fizikai hozzáférés szabályozása klaszterezett Mac-ekhez és megosztott tárolókhoz
  • Hardver életciklusának és leszerelési eljárásainak dokumentálása

Szabályozási Megfontolások

  • EXO telepítések leképezése a GDPR, HIPAA és SOC 2 követelményekhez
  • Adattartózkodás fenntartása az inferencia helyszínen tartásával
  • Beszerzői ellátási láncok kockázatainak dokumentálása (MLX, EXO, modellsúlyok)
  • Felkészülés az AI irányítási keretrendszerekre, például az EU AI Act 53. cikke

Követelmények

  • Tapasztalat az EXO vagy egy másik helyi LLM futtatókörnyezettel
  • Ismeret a Unix fájlrendszer-jogosultságokról és hálózati ACL-ekről
  • Ismeret a TLS/SSL tanúsítványkezelésről és titkosítás alapjairól

Célközönség

  • Biztonsági mérnökök
  • Megfelelőségi tisztviselők
  • AI infrastruktúra adminisztrátorok, akik érzékeny adatokkal dolgoznak
 14 Órák

Résztvevők száma


Ár per résztvevő

Vélemények (1)

Közelgő kurzusok

Rokon kategóriák