Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
AI szuverenitás és LLM helyi üzembe helyezés
- A felhőalapú LLM-ek kockázatai: adatmegőrzés, bemenetekre való tanulás, külföldi joghatóság.
- Ollama architektúra: modell szerver, regisztrációs adatbázis és OpenAI-kompatibilis API.
- Összehasonlítás a vLLM, llama.cpp és Text Generation Inference eszközökkel.
- Modell licencelés: Llama, Mistral, Qwen és Gemma feltételei.
Telepítés és hardver beállítás
- Ollama telepítése Linux rendszeren CUDA és ROCm támogatással.
- CPU-only visszaesés és AVX/AVX2 optimalizálás.
- Docker telepítés és állandó kötet leképezés.
- Több GPU-s beállítás és VRAM kiosztási stratégiák.
Modell kezelés
- Modellek lekérése az Ollama regisztrációs adatbázisból: ollama pull llama3.
- GGUF modellek importálása a HuggingFace és TheBloke felől.
- Kvantálási szintek: Q4_K_M, Q5_K_M, Q8_0 kompromisszumok.
- Modell váltás és egyidejű modell betöltési korlátok.
Egyéni Modelfile-ok
- Modelfile szintaxis írása: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Hőmérséklet, top_p és repeat_penalty hangolás.
- Rendszerprompt mérnöki munka szerepspecifikus viselkedéshez.
- Egyéni modellek létrehozása és közzététele a helyi regisztrációs adatbázisban.
API integráció
- OpenAI-kompatibilis /v1/chat/completions végpont.
- Folyamatos válaszok és JSON mód.
- Integráció LangChain, LlamaIndex és egyéni alkalmazásokkal.
- Hitelesítés és sebességkorlátozás fordított proxyn keresztül.
Teljesítményoptimalizálás
- Kontextus ablak méretezés és KV gyorsítótár kezelés.
- Kötegelt következtetés és párhuzamos kérések kezelése.
- CPU szál kiosztás és NUMA tudatosság.
- GPU kihasználtság és memórianyomás monitorozása.
Biztonság és megfelelőség
- Hálózati elkülönítés a modell kiszolgálási végpontokhoz.
- Bemeneti szűrés és kimeneti moderálási folyamatok.
- Promptok és válaszok naplózása.
- Modell eredetiség és hash ellenőrzés.
Követelmények
- Középhaladó Linux és konténer adminisztráció.
- Magas szintű megértése a gépi tanulásnak és a transzformátor modelleknek.
- Ismeret a REST API-k és a JSON használatában.
Közönség
- AI mérnökök és fejlesztők, akik felhőalapú LLM API-kat szeretnének lecserélni.
- Szervezetek, amelyek adatérzékenység miatt nem használhatnak felhőalapú modelleket.
- Kormányzati és védelmi csapatok, akik légkörbe zárt nyelvi modelleket igényelnek.
14 Órák
