Köszönjük, hogy elküldte érdeklődését! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Köszönjük, hogy elküldte foglalását! Csapatunk egyik tagja hamarosan felveszi Önnel a kapcsolatot.
Időtartalma 14 órák
Kurzusleírás
A Mistral méretezése bevezetése
- A Mistral Medium 3 áttekintése
- Teljesítmény és költség kompromisszumai
- Vállalati méretű megfontolások
LLM-ek kiadási mintái
- Kiszolgálási topológiák és tervezési döntések
- Inhouse vs. felhőalapú kiadások
- Hibrid és multi-cloud stratégiák
Inferencia optimalizációs technikák
- Kötetkezelési stratégiák a nagy átbitévi képesség érdekében
- Kvantálási módszerek a költségcsökkentéshez
- Gyorsítókártyák és GPU-hasznosítás
Méretezhetőség és megbízhatóság
- Kubernetes-claszterek méretezése inferenciára
- Terheléselosztás és forgalomirányítás
- Hibátolerancia és redundancia
Költségmérnöki keretrendszerek
- Inferencia-költséghatékonyság mérése
- Számítási és memóriahatékony erőforrások méretezése
- Figyelés és riasztás az optimalizálás céljából
Biztonság és compliance a gyártási környezetben
- Kiadások és API-k biztonsága
- Adatkezelési megfontolások
- Jogi megfelelés a költségmérnökségben
Esettanulmányok és jó gyakorlatok
- Referenciaarchitektúrák a méretezett Mistralhoz
- Tanulságok vállalati kiadásokból
- Jövőbeli trendek a hatékony LLM inferenciában
Összegzés és következő lépések
Követelmények
- Mélyedre hatoló megértése a gépi tanulás modellek kiadásának
- Tapasztalat a felhő-infrastruktúrával és elosztott rendszerekkel
- Ismeret a teljesítményhangolás és a költségoptimalizációs stratégiákról
Közönség
- Infrastruktúra mérnökök
- Felhőarchitektusok
- MLOps vezérkornokok