分類: AI

macos 跑EXO

A.什麼是EXO？

EXO 在X算是熱門，就是它可以將macOS/linux Cluster 跑大模型，而且是十分簡單就可以實現，跑出來的效果還相當不錯，幾個重點是：

1.使用mac min 暫用空間小

2.花費電力低，溫度也低

3.連接設備簡單，thunderbolt 完成

4.價格不貴，貨源多，一台mac mini 不到4k，已經可以跑.15b，cluster 幾台已經很快

B. 安裝 miniconda

由於exo 需要python 3.12 以上，而且需要很多東西，個人測試後最簡單還是用conda，方法如下，粘貼到終端機執行就可以

mkdir -p ~/miniconda3
curl https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.sh -o ~/miniconda3/miniconda.sh

bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3

rm ~/miniconda3/miniconda.sh

安裝完成後開啟一個新的終端機（其實沒開也是可以的）

conda init --all

這樣miniconda 就完成安裝了，接下來要安裝MLX

C.安裝MLX

要求macOS 是13.5以上

pip install mlx

conda install conda-forge::mlx

D.安裝git

直接使用conda 安裝git就可以，和pip 一樣

conda install git

E.安裝EXO

git clone https://github.com/exo-explore/exo.git

cd exo

pip install -e .

source install.sh

F.執行EXO

exo