Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Kurzusleírás
Bevezetés a Mistral nagy léptékbe
- A Mistral Medium 3 áttekintése
- Teljesítmény és költség kompromisszumok
- Vállalati léptékű megfontolások
LLM-ek üzembe helyezési mintái
- Kiszolgálási topológiák és tervezési döntések
- Helyszíni vs felhős üzembe helyezések
- Hibrid és többfelhős stratégiák
Inferencia optimalizálási technikák
- Kötegelési stratégiák magas átviteli sebességhez
- Kvantálási módszerek költségcsökkentéshez
- Gyorsító és GPU kihasználtság
Skálázhatóság és megbízhatóság
- Kubernetes klaszterek skálázása inferenciához
- Terheléselosztás és forgalomirányítás
- Hibatűrés és redundancia
Költségmérnöki keretrendszerek
- Inferencia költséghatékonyság mérése
- Számítási és memória erőforrások méretezése
- Figyelés és riasztás optimalizálás érdekében
Biztonság és megfelelőség a termelésben
- Üzembe helyezések és API-k biztonságba helyezése
- Adatirányítási megfontolások
- Szabályozási megfelelőség a költségmérnöki területen
Esettanulmányok és ajánlott eljárások
- Referencia architektúrák a Mistral nagy léptékben
- Tapasztalatok a vállalati üzembe helyezésekből
- Jövőbeli trendek a hatékony LLM inferenciában
Összefoglalás és következő lépések
Követelmények
- Erős megértés a gépi tanulási modellek üzembe helyezéséről
- Tapasztalat felhőinfrastruktúrával és elosztott rendszerekkel
- Ismeret a teljesítményhangolás és költségoptimalizálási stratégiák terén
Célközönség
- Infrastruktúra mérnökök
- Felhőarchitektusok
- MLOps vezetők
14 Órák