Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Ollama skálázás bevezetése
- Ollama architektúra és skálázási szempontok
- Több felhasználós telepítések gyakori szűk keresztmetszetei
- Infrastruktúra készséghez kapcsolódó legjobb gyakorlatok
Erőforrás-allocálás és GPU optimalizálás
- Hatékony CPU/GPU használati stratégiák
- Memóriai és sávszélességi szempontok
- Konténer-szintű erőforrás-korlátozások
Telepítés konténerekkel és Kubernetes segítségével
- Ollama konténerezés Docker segítségével
- Ollama futtatása Kubernetes clusterben
- Töltéskiegyenlítés és szolgáltatásfelderítés
Automatikus skálázás és csomagolás
- Automatikus skálázási szabályok tervezése Ollama számára
- Átmenetoptimalizálási technikák átviteli optimalizáláshoz
- Késleltetés és átviteli kapacitás kompromisszumai
Késleltetésoptimalizálás
- Átmenetoptimalizálási teljesítmény profilozása
- Gyorsítótárstratégiák és modell felmelegítése
- I/O és kommunikációs feladatok csökkentése
Monitorozás és láthatóság
- Prometheus integrálása mérési adatokhoz
- Grafana használata panelok készítéséhez
- Figyelmeztetések és eseménykezelés Ollama infrastruktúrájában
Költségkezelés és skálázási stratégiák
- Költségfigyelő GPU-allokálás
- Felhő és helyi telepítés szempontok
- Fenntartható skálázási stratégiák
Összegzés és következő lépések
Követelmények
- Linux rendszergazdálkodási tapasztalat
- Tudás a konténerizálásról és a konténer irányításról
- Ismeret a gépi tanulási modell telepítéséről
A célközönség
- DevOps mérnökök
- ML infrastruktúra csapatok
- Helyi biztonsági mérnökök
21 Órák