exo

忘掉昂贵的NVIDIA GPU吧，将你现有的各种设备统一成一个强大的GPU：iPhone、iPad、Android、Mac、Linux，几乎任何设备都可以！

参与

exo 是 实验性 软件，早期版本预计会有bug。请创建问题报告，这样我们可以进行修复。exo labs 团队会努力快速解决这些问题。

我们也欢迎社区贡献。我们在这个表格中列出了一些悬赏任务。

功能特点

广泛的模型支持

exo 支持LLaMA模型 (MLX 和 tinygrad) 以及其他流行的模型。

动态模型分区

exo 会根据当前的网络拓扑和设备资源情况优化分割模型，让你能够在任何单一设备上运行更大的模型。

自动设备发现

exo 将使用最佳方法自动发现其他设备，无需手动配置。

ChatGPT兼容API

exo 提供了一个ChatGPT兼容的API来运行模型。你只需在你的应用中做一行代码的改动，就可以使用exo在你自己的硬件上运行模型。

设备平等

与其他分布式推理框架不同，exo 不采用主从架构。相反，exo 设备之间是点对点连接的。只要某个设备连接在网络中的某个地方，就可以用来运行模型。

exo 支持不同的分区策略来跨设备分割模型。默认的分区策略是环形内存加权分区，该策略会在一个环形拓扑中运行推理，每个设备根据其内存大小运行一定数量的模型层。

安装

目前推荐的安装exo的方法是从源码安装。

先决条件

需要Python>=3.12.0，因之前版本存在asyncio问题。