Lépjen kapcsolatba velünk

Kurzusleírás

Bevezetés az EXO és a helyi AI klaszterezésbe

  • Az EXO keretrendszer és az exo-explore ökoszisztéma áttekintése
  • A központosított felhős következtetés és az elosztott helyi következtetés összehasonlítása
  • Architektúra: libp2p eszközfelderítés, MLX háttér, irányítópult és API rétegek
  • Hardverkövetelmények: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, megosztott tárhely

Az EXO telepítése macOS-en

  • Xcode, Metal ToolChain és macOS előfeltételek beállítása
  • Az uv, Node.js, Rust nightly toolchain telepítése
  • Az Apple Silicon monitorozáshoz szükséges macmon fork telepítése
  • A repository klónozása és az irányítópult felépítése npm-mel
  • Az EXO futtatása forrásból és a localhost:52415 irányítópult ellenőrzése

Az EXO telepítése Linuxon

  • Függőségek telepítése apt vagy Homebrew segítségével Linuxon
  • Az uv, Node.js 18+, és Rust nightly konfigurálása
  • Az irányítópult felépítése és az EXO futtatása CPU-only módban
  • Könyvtárszerkezet: XDG Base Directory útvonalak a konfiguráció, adatok, gyorsítótár és naplók számára

Automatikus eszközfelderítés és klaszterképzés

  • A libp2p alapú automatikus felderítés megértése helyi hálózatokon
  • Egyéni névterek konfigurálása EXO_LIBP2P_NAMESPACE segítségével klaszter izolációhoz
  • Csomópont tagság ellenőrzése az irányítópult klaszter nézetben
  • Felderítési hibák és hálózati szegmentációs problémák kezelése

RDMA engedélyezése Thunderbolt 5 felett

  • RDMA architektúra és a 99 százalékos késleltetés-csökkentési állítás
  • RDMA engedélyezése macOS Recovery módban rdma_ctl segítségével
  • Kábelkövetelmények és port topológiai korlátozások Mac Studio esetén
  • Az macOS verziók egyeztetése az összes klasztercsomóponton
  • RDMA felderítés és DHCP konfiguráció hibaelhárítása

Határmodellerek üzembe helyezése

  • Az irányítópult használata DeepSeek v3.1, Qwen3-235B és Llama család modelljeinek betöltéséhez és szegmentálásához
  • Példányelhelyezések előnézete a /instance/previews API végpont segítségével
  • Modellpéldányok létrehozása folyamatos vagy tenzor-párhuzamos szegmentálással
  • Egyéni modellkártyák konfigurálása a HuggingFace hub-ról

Monitorozás és hibaelhárítás

  • EXO naplók olvasása és a disztribuált nyomkövetés megértése
  • A klaszter állapotának értelmezése az irányítópult klaszter nézetben
  • Munkacsomópont hibák és újrakapcsolódási viselkedés diagnosztizálása
  • Az EXO_TRACING_ENABLED használata teljesítmény szűk keresztmetszetek elemzéséhez

Klaszter karbantartás és frissítések

  • EXO binárisok frissítése és az irányítópult újraépítési eljárások
  • Modell gyorsítótár migrálása és előre letöltött modellek kezelése NFS felett
  • Csomópontok kíméletes eltávolítása és munkaterhelések újraegyensúlyozása

Követelmények

  • Hálózati alapok ismerete (IP, alhálózatolás, tűzfalak)
  • Tapasztalat macOS vagy Linux parancssoros adminisztrációval
  • Ismeret a Python csomagkezelésben (pip/uv) és a Node.js eszközökben

Célközönség

  • Rendszergazdák
  • DevOps mérnökök
  • AI infrastruktúra architektusok, akik helyszíni LLM telepítésért felelnek
 21 Órák

Résztvevők száma


Ár per résztvevő

Közelgő kurzusok

Rokon kategóriák