Kurzusleírás

Ollama skálázás bevezetése

  • Ollama architektúra és skálázási szempontok
  • Több felhasználós telepítések gyakori szűk keresztmetszetei
  • Infrastruktúra készséghez kapcsolódó legjobb gyakorlatok

Erőforrás-allocálás és GPU optimalizálás

  • Hatékony CPU/GPU használati stratégiák
  • Memóriai és sávszélességi szempontok
  • Konténer-szintű erőforrás-korlátozások

Telepítés konténerekkel és Kubernetes segítségével

  • Ollama konténerezés Docker segítségével
  • Ollama futtatása Kubernetes clusterben
  • Töltéskiegyenlítés és szolgáltatásfelderítés

Automatikus skálázás és csomagolás

  • Automatikus skálázási szabályok tervezése Ollama számára
  • Átmenetoptimalizálási technikák átviteli optimalizáláshoz
  • Késleltetés és átviteli kapacitás kompromisszumai

Késleltetésoptimalizálás

  • Átmenetoptimalizálási teljesítmény profilozása
  • Gyorsítótárstratégiák és modell felmelegítése
  • I/O és kommunikációs feladatok csökkentése

Monitorozás és láthatóság

  • Prometheus integrálása mérési adatokhoz
  • Grafana használata panelok készítéséhez
  • Figyelmeztetések és eseménykezelés Ollama infrastruktúrájában

Költségkezelés és skálázási stratégiák

  • Költségfigyelő GPU-allokálás
  • Felhő és helyi telepítés szempontok
  • Fenntartható skálázási stratégiák

Összegzés és következő lépések

Követelmények

  • Linux rendszergazdálkodási tapasztalat
  • Tudás a konténerizálásról és a konténer irányításról
  • Ismeret a gépi tanulási modell telepítéséről

A célközönség

  • DevOps mérnökök
  • ML infrastruktúra csapatok
  • Helyi biztonsági mérnökök
 21 Órák

Résztvevők száma


Ár résztvevőnként

Közelgő kurzusok

Rokon kategóriák