Kurzusleírás
Gépi tanulási modellek előkészítése a telepítéshez
- Modellek csomagolása Dockerrel
- Modellek exportálása TensorFlowból és PyTorchból
- Versiozás és tárolással kapcsolatos szempontok
Modellek kiszolgálása Kubernetesben
- Inferencia-szerverek áttekintése
- TensorFlow Serving és TorchServe telepítése
- Modell-végpontok beállítása
Inferencia-optimalizációs technikák
- Kötetkezelési stratégiák (batching)
- Parallelt kérések kezelése
- Látencia és áteresztőképesség hangolása
ML munkaterhelések automatikus méretezése
- Fekizetális Pod Autoscaler (HPA)
- Függőleges Pod Autoscaler (VPA)
- Kubernetes Eseményalapú Automataikus Méretezés (KEDA)
GPU biztosítása és erőforrás-kezelés
- GPU csomópontok konfigurálása
- NVIDIA eszköz-bővítmény (device plugin) áttekintése
- ML munkaterhelések erőforrás-igényei és korlátai
Modell-kiadások és kiadási stratégiák
- Blue/green telepítések
- Canary kiadási minták
- A/B tesztelés a modell értékeléséhez
Figyelés és megfigyelhetőség az ML előállítási környezetben
- Inferencia munkaterhelések metrikái
- Naplózás és követés (tracing) gyakorlatai
- Mutatópanelek és riasztások
Biztonsági és megbízhatósági szempontok
- Modell-végpontok biztonságosítása
- Hálózati szabályok és hozzáférés-kezelés
- Nagy rendelkezésre állás biztosítása
Összefoglalás és következő lépések
Követelmények
- A konténerizált alkalmazási munkafolyamatok megértése
- Python alapú gépi tanulási modellekkel való tapasztalat
- A Kubernetes alapfogalmak ismerete
Célközönség
- ML mérnökök
- DevOps mérnökök
- Platform-mérnöki csapatok
Vélemények (4)
alapvető ismeretek a konténer/Kubernetes rendszerről és azok kölcsönhatásairól az OpenShift platform jellemzői
Eric Scholze - NOW IT GmbH
Kurzus - Introduction to Containers, Kubernetes & OpenShift
Gépi fordítás
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurzus - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Hogyan képesnek bizonyulnak a képzők az ismeretek hatékony átadásában
Vu Thoai Le - Reply Polska sp. z o. o.
Kurzus - Certified Kubernetes Administrator (CKA) - exam preparation
Gépi fordítás
A tudás és a kalandok Augustinnel
Laurent - L'Office national des vacances annuelles (ONVA)
Kurzus - Docker and Kubernetes
Gépi fordítás