Lépjen kapcsolatba velünk

Kurzusleírás

Bevezetés az EXO és a helyi AI klaszterezésbe

  • Az EXO keretrendszer és az exo-explore ökoszisztéma áttekintése
  • Központi felhőbeli következtetés és elosztott helyi következtetés összehasonlítása
  • Architektúra: libp2p eszközfelderítés, MLX háttérprogram, irányítópult és API rétegek
  • Hardverkövetelmények: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, megosztott tárhely

EXO telepítése macOS-en

  • Xcode, Metal ToolChain és macOS előfeltételek beállítása
  • uv, Node.js, Rust nightly eszközlánc telepítése
  • A macmon fork telepítése Apple Silicon monitorozáshoz
  • A repository klónozása és az irányítópult építése npm-mel
  • EXO futtatása forrásból és a localhost:52415 irányítópult ellenőrzése

EXO telepítése Linuxon

  • Függőségek telepítése apt vagy Homebrew segítségével Linuxon
  • uv, Node.js 18+ és Rust nightly konfigurálása
  • Az irányítópult építése és az EXO futtatása CPU-only módban
  • Könyvtárszerkezet: XDG alapkönyvtár útvonalak a konfiguráció, adatok, gyorsítótár és naplók számára

Automatikus eszközfelderítés és klaszterképzés

  • A libp2p alapú automatikus felderítés megértése helyi hálózatokon
  • Egyéni névterek konfigurálása EXO_LIBP2P_NAMESPACE segítségével klaszter izolációhoz
  • Csomóponttagság ellenőrzése az irányítópult klaszternézetben
  • Felderítési hibák és hálózati szegmentációs problémák kezelése

RDMA engedélyezése Thunderbolt 5 felett

  • RDMA architektúra és a 99 százalékos késleltetéscsökkentési állítás
  • RDMA engedélyezése macOS Recovery módban rdma_ctl segítségével
  • Kábelkövetelmények és port topológiai korlátozások a Mac Studio-n
  • macOS verziók egyeztetése az összes klasztercsomóponton
  • RDMA felderítés és DHCP konfiguráció hibaelhárítása

Határmodellek üzembe helyezése

  • Az irányítópult használata DeepSeek v3.1, Qwen3-235B és Llama család modellek betöltéséhez és szegmentálásához
  • Példányelhelyezések előnézete a /instance/previews API végpont segítségével
  • Modellpéldányok létrehozása folyamatos vagy tenzor-párhuzamos szegmentálással
  • Egyéni modellkártyák konfigurálása a HuggingFace hub-ról

Monitorozás és hibaelhárítás

  • EXO naplók olvasása és az elosztott nyomkövetés megértése
  • Klaszter állapotának értelmezése az irányítópult klaszternézetben
  • Munkacsomópont hibák és újrakapcsolódási viselkedés diagnosztizálása
  • EXO_TRACING_ENABLED használata teljesítmény szűk keresztmetszetek elemzéséhez

Klaszter karbantartás és frissítések

  • EXO binárisok frissítése és irányítópult újraépítési eljárások
  • Modellgyorsítótárak migrálása és előre letöltött modellek kezelése NFS felett
  • Csomópontok eltávolítása és munkaterhelések újraegyensúlyozása

Követelmények

  • Hálózati alapok ismerete (IP, alhálózatolás, tűzfalak)
  • Tapasztalat macOS vagy Linux parancssoros adminisztrációval
  • Ismeret a Python csomagkezelésben (pip/uv) és a Node.js eszközökben

Célközönség

  • Rendszergazdák
  • DevOps mérnökök
  • AI infrastruktúra tervezők, akik helyszíni LLM üzembe helyezésért felelnek
 21 Órák

Résztvevők száma


Ár per résztvevő

Közelgő kurzusok

Rokon kategóriák