LocalAI

LocalAI 是免费的开源 OpenAI 替代品。LocalAI 作为兼容 OpenAI（Elevenlabs、Anthropic 等）API 规范的替代 REST API，可用于本地 AI 推理。它允许你在本地或本地网络环境中使用消费级硬件运行 LLMs、生成图像、音频等。无需 GPU。由 Ettore Di Giacinto 创建和维护。

运行安装脚本：

bash
1curl https://localai.io/install.sh | sh

或使用 Docker 运行：

bash
1docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-cpu
2# 其他镜像：
3# - 如果你有 Nvidia GPU：
4# docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-aio-gpu-nvidia-cuda-12
5# - 无预配置模型：
6# docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
7# - 无预配置模型的 Nvidia GPU：
8# docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12 

💻 入门指南

🚀 [功能](https://localai.io

/features/)

• 📖 使用 GPTs 进行文本生成（llama.cpp，gpt4all.cpp，... :book: 更多）
• 🗣 文本转音频
• 🔈 音频转文本（使用 whisper.cpp 进行音频转录）
• 🎨 使用稳定扩散生成图像
• 🔥 类似 OpenAI 的工具 API
• 🧠 生成向量数据库的嵌入
• ✍️ 受限语法
• 🖼️ 直接从 Huggingface 下载模型
• 🥽 视觉 API
• 📈 重排 API
• 🆕🖧 P2P 推理
• 🌍 集成 WebUI！

💻 用法

请查看我们文档中的入门指南部分。

🔗 社区与集成

构建和部署自定义容器：

• https://github.com/sozercan/aikit

WebUI：

• https://github.com/Jirubizu/localai-admin
• https://github.com/go-skynet/LocalAI-frontend
• QA-Pilot（一个利用 LocalAI LLMs 快速理解和导航 GitHub 代码库的交互式聊天项目） https://github.com/reid41/QA-Pilot

模型库：

• https://github.com/go-skynet/model-gallery

其他：

• Helm chart https://github.com/go-skynet/helm-charts
• VSCode 扩展 https://github.com/badgooooor/localai-vscode-plugin
• 终端工具 https://github.com/djcopley/ShellOracle
• 本地智能助手 https://github.com/mudler/LocalAGI
• Home Assistant https://github.com/sammcj/homeassistant-localai / https://github.com/drndos/hass-openai-custom-conversation / https://github.com/valentinfrlch/ha-gpt4vision
• Discord 机器人 https://github.com/mudler/LocalAGI/tree/main/examples/discord
• Slack 机器人 https://github.com/mudler/LocalAGI/tree/main/examples/slack
• Shell-Pilot（通过纯 shell 脚本在你的 Linux 或 MacOS 系统上使用 LocalAI 模型进行交互）https://github.com/reid41/shell-pilot
• Telegram 机器人 https://github.com/mudler/LocalAI/tree/master/examples/telegram-bot
• Github Actions: https://github.com/marketplace/actions/start-localai
• 示例: https://github.com/mudler/LocalAI/tree/master/examples/

🔗 资源

• LLM 微调指南
• 如何本地构建
• 如何在 Kubernetes 中安装
• 集成 LocalAI 的项目
• How tos 部分（由我们的社区策划）

:book: 🎥 媒体、博客、社交

• 🆕 在 Jetson Nano 开发套件上运行 LocalAI
• 使用 Pulumi 在 AWS EKS 上运行 LocalAI
• 在 AWS 上运行 LocalAI
• 为团队和开源项目创建一个回答文档问题的 Slack 机器人
• LocalAI 遇见 k8sgpt
• 使用 LangChain、LocalAI、Chroma 和 GPT4All 在本地进行文档问答
• 使用 LocalAI 的 k8sgpt 教程

引用

如果你在下游项目中使用了此仓库或数据，请考虑引用：

@misc{localai,
  author = {Ettore Di Giacinto},
  title = {LocalAI: The free, Open source OpenAI alternative},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/go-skynet/LocalAI}},
}