Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Időtartalma 14 órák
Kurzusleírás
AI szuverenitás és a LLM helyi deploymentja
- A felhőalapú LLM-ek kockázatai: adattárolás, bemenetekre alapozott edzés, idegen joghatóság.
- Ollama architektúra: modell-szerver, registry és OpenAI-kompatibilis API.
- Összehasonlítás a vLLM-mel, a llama.cpp-val és a Text Generation Inference-szel.
- Modelllicencelé: Llama, Mistral, Qwen és Gemma feltételei.
Telepítés és hardverbeállítás
- Ollama telepítése Linux rendszereken CUDA és ROCm támogatással.
- CPU-only fallback és AVX/AVX2 optimalizálás.
- Docker deployment és perzisztens kötetek leképezése.
- Több GPU-s konfiguráció és VRAM-kiosztási stratégiák.
Modellkezelés
- Modellek letöltése az Ollama registry-ből: ollama pull llama3.
- GGUF formátumú modellek importálása a HuggingFace-ről és a TheBloke-tól.
- Kvantálási szintek: Q4_K_M, Q5_K_M, Q8_0 előnyök és hátrányok.
- Modellváltás és egyidejű modellbetöltési korlátok.
Egyedi Modelfile-ek
- Modelfile szintaxis írása: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Temperature, top_p és repeat_penalty hangolása.
- Rendszer prompt-mérnökök a szerepszpecifikus viselkedéshez.
- Egyedi modellek létrehozása és közzététele a helyi registry-ben.
API integráció
- OpenAI-kompatibilis /v1/chat/completions végpont.
- Streamelt válaszok és JSON mód.
- Integráció LangChain-nel, LlamaIndex-szel és egyedi alkalmazásokkal.
- Hitelesítés és ráta korlátozás reverz proxy használatával.
Teljesítmény-optimalizálás
- Kontextusablak méretezése és KV cache kezelése.
- Kötetinferencia és párhuzamos kérések kezelése.
- CPU-szál kiosztás és NUMA tudatosság.
- GPU-hasznosítás és memórianyomás figyelése.
Biztonság és megfelelőség
- Hálózati szigetelés a modellezést végző végpontokhoz.
- Bemenet-szűrők és kimenet-moderációs csatornák.
- Promptok és kiegészítések audit nyilvántartása.
- Modell eredet és hash-ellenőrzés.
Követelmények
- Közepes szintű Linux és konténer-üzemeltetés.
- A gépi tanulás és a transzformátor modellek magas szintű megértése.
- REST API-k és JSON ismerete.
Célközönség
- AI-mérnökök és fejlesztők, akik felhőalapú LLM API-kat csereznek ki.
- Szervezetek, ahol az érzékeny adatok miatt nem használható felhőalapú modell.
- Kormányzati és védelmi csapatok, amelyek szigetelt (air-gapped) nyelvi modelleket igényelnek.
