Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
AI szuverenitás és LLM helyi üzembe helyezés
- Felhőalapú LLM-ek kockázatai: adatmegtartás, bemeneteken történő tanítás, külföldi joghatóság.
- Ollama architektúra: modell szerver, regisztráció és OpenAI-kompatibilis API.
- Összehasonlítás vLLM, llama.cpp és Text Generation Inference segítségével.
- Modell licencelés: Llama, Mistral, Qwen és Gemma feltételei.
Telepítés és hardver beállítás
- Ollama telepítése Linux rendszerre CUDA és ROCm támogatással.
- CPU csak visszaesés és AVX/AVX2 optimalizálás.
- Docker üzembe helyezés és állandó kötet leképezés.
- Több GPU-s beállítás és VRAM kiosztási stratégiák.
Modell kezelés
- Modellek lekérése az Ollama regisztróból: ollama pull llama3.
- GGUF modellek importálása a HuggingFace és TheBloke segítségével.
- Kvantálási szintek: Q4_K_M, Q5_K_M, Q8_0 kompromisszumok.
- Modell váltás és egyidejű modell betöltési korlátok.
Egyéni Modelfile-ok
- Modelfile szintaxis írása: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Hőmérséklet, top_p és repeat_penalty hangolás.
- Rendszerprompt mérnöki munka szerepspecifikus viselkedéshez.
- Egyéni modellek létrehozása és közzététele helyi regisztróban.
API integráció
- OpenAI-kompatibilis /v1/chat/completions végpont.
- Streamelési válaszok és JSON mód.
- Integráció LangChain, LlamaIndex és egyéni alkalmazásokkal.
- Hitelesítés és sebességkorlátozás fordított proxyval.
Teljesítmény optimalizálás
- Kontextusablak méretezés és KV gyorsítótár kezelés.
- Kötegelt következtetés és párhuzamos kérések kezelése.
- CPU szál kiosztás és NUMA tudatosság.
- GPU kihasználtság és memórianyomás monitorozása.
Biztonság és megfelelőség
- Hálózati elszigetelés modell kiszolgáló végpontokhoz.
- Bemeneti szűrés és kimeneti moderálási folyamatok.
- Promptok és válaszok naplózása.
- Modell eredetiség és hash ellenőrzés.
Követelmények
- Középszintű Linux és konténer adminisztráció.
- Gépi tanulás és transzformátor modellek magas szintű ismerete.
- REST API-k és JSON ismerete.
Közönség
- AI mérnökök és fejlesztők, akik felhőalapú LLM API-kat szeretnének lecserélni.
- Adatérzékenységgel rendelkező szervezetek, akik nem szeretnék felhőben használni a modelleket.
- Kormányzati és védelmi csapatok, akik légmentesen elzárt nyelvi modelleket igényelnek.
14 Órák
