Kurzusleírás

A Mistral bevezetése méretarányban

  • Áttekintés a Mistral Medium 3-ról
  • Teljesítmény vs. költség kereskedelmi kompromisszumok
  • Vállalati méretű megfontolások

Teljesítményes Nyelvi Modellek (LLMs) telepítési minták

  • Kiszolgáló topológiák és tervezési választások
  • Helyi vs. felhőalapú telepítések
  • Hibrid és többfelhőes stratégiák

Inferencia optimalizálási technikák

  • Nagy átviteli teljesítményű csomagolási stratégiák
  • Költségcsökkentő kvantizálási módszerek
  • Accelerator és GPU használata

Skálázhatóság és biztonságosság

  • Kubernetes-klaszterek skálázása inferenciára
  • Terheléskiegyenlítés és forgalomirányítás
  • Hibafedezettség és redundancia

Költségmérnöki keretek

  • Inferencia költséghatékonyság mérése
  • Számítási és memóriakapacitások méretezése
  • Optimalizáláshoz szükséges monitorozás és érzékelés

Biztonság és engedélyezés gyártásban

  • Telepítések és API-k biztonságosítása
  • Adatkezelési megfontolások
  • Regulációs engedélyezés a költségmérnökségben

Eseményeket és legjobb gyakorlatokat

  • Mistral méretarányú referencia architektúrák
  • Vállalati telepítésekből származó tapasztalatok
  • Hatékony LLM inferenciában jövőbeli trendek

Összegzés és következő lépések

Követelmények

  • Méretekezett érzékenységi modellek telepítéséről való mélyebb megértés
  • Felhő alapú infrastruktúra és elosztott rendszerek tapasztalata
  • Teljesítményoptimalizálási és költségoptimalizálási stratégiák ismerete

A célközönség

  • Infrastruktúra mérnökök
  • Felhő architektusok
  • MLOps vezetők
 14 Órák

Résztvevők száma


Ár résztvevőnként

Közelgő kurzusok

Rokon kategóriák