LLM 推理 & 部署

这是什么

跑开源大模型的推理 runtime / server / 量化库。把模型权重变成可服务化的 HTTP/CLI 接口。

用什么场景

• 本地一键拉起模型对话（Ollama）
• CPU / 低显存环境跑量化模型（llama.cpp / llama-cpp-python）
• 多 GPU 集群推理服务（LocalAI / vLLM）
• 浏览器内推理（exo）

选型考虑

部署复杂度：Ollama 一行命令最友好，llama.cpp 编译麻烦但极致性能。硬件支持：Apple Silicon 选 llama.cpp / Ollama；Nvidia 多卡看 vLLM / LocalAI。语言：Python 生态接 llama-cpp-python；Go / 容器化部署看 Ollama。

主流项目

本分类下 10 个推理框架与运行时，按部署便利性与社区活跃度排序。