EXO: Végponttól végpontig terjedő helyi AI klaszter telepítés Képzés

Bevezetés az EXO és a helyi AI klaszterezésbe

• Az EXO keretrendszer és az exo-explore ökoszisztéma áttekintése
• A központosított felhős következtetés és az elosztott helyi következtetés összehasonlítása
• Architektúra: libp2p eszközfelderítés, MLX háttér, irányítópult és API rétegek
• Hardverkövetelmények: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, megosztott tárhely

Az EXO telepítése macOS-en

• Xcode, Metal ToolChain és macOS előfeltételek beállítása
• Az uv, Node.js, Rust nightly toolchain telepítése
• Az Apple Silicon monitorozáshoz szükséges macmon fork telepítése
• A repository klónozása és az irányítópult felépítése npm-mel
• Az EXO futtatása forrásból és a localhost:52415 irányítópult ellenőrzése

Az EXO telepítése Linuxon

• Függőségek telepítése apt vagy Homebrew segítségével Linuxon
• Az uv, Node.js 18+, és Rust nightly konfigurálása
• Az irányítópult felépítése és az EXO futtatása CPU-only módban
• Könyvtárszerkezet: XDG Base Directory útvonalak a konfiguráció, adatok, gyorsítótár és naplók számára

Automatikus eszközfelderítés és klaszterképzés

• A libp2p alapú automatikus felderítés megértése helyi hálózatokon
• Egyéni névterek konfigurálása EXO_LIBP2P_NAMESPACE segítségével klaszter izolációhoz
• Csomópont tagság ellenőrzése az irányítópult klaszter nézetben
• Felderítési hibák és hálózati szegmentációs problémák kezelése

RDMA engedélyezése Thunderbolt 5 felett

• RDMA architektúra és a 99 százalékos késleltetés-csökkentési állítás
• RDMA engedélyezése macOS Recovery módban rdma_ctl segítségével
• Kábelkövetelmények és port topológiai korlátozások Mac Studio esetén
• Az macOS verziók egyeztetése az összes klasztercsomóponton
• RDMA felderítés és DHCP konfiguráció hibaelhárítása

Határmodellerek üzembe helyezése

• Az irányítópult használata DeepSeek v3.1, Qwen3-235B és Llama család modelljeinek betöltéséhez és szegmentálásához
• Példányelhelyezések előnézete a /instance/previews API végpont segítségével
• Modellpéldányok létrehozása folyamatos vagy tenzor-párhuzamos szegmentálással
• Egyéni modellkártyák konfigurálása a HuggingFace hub-ról

Monitorozás és hibaelhárítás

• EXO naplók olvasása és a disztribuált nyomkövetés megértése
• A klaszter állapotának értelmezése az irányítópult klaszter nézetben
• Munkacsomópont hibák és újrakapcsolódási viselkedés diagnosztizálása
• Az EXO_TRACING_ENABLED használata teljesítmény szűk keresztmetszetek elemzéséhez

Klaszter karbantartás és frissítések

• EXO binárisok frissítése és az irányítópult újraépítési eljárások
• Modell gyorsítótár migrálása és előre letöltött modellek kezelése NFS felett
• Csomópontok kíméletes eltávolítása és munkaterhelések újraegyensúlyozása