localGPT

localGPT 是一个基于 GPT-4 的项目，灵感来自于原始的 privateGPT。这里的大部分描述都是受到原始 privateGPT 的启发。

对于项目的详细概述，请观看以下视频：

• 详细代码演示。
• Llama-2 与 LocalGPT
• 添加聊天历史记录

在这个模型中，我用 Vicuna-7B 模型替换了 GPT4ALL 模型，并使用 InstructorEmbeddings 替代了原始 privateGPT 中使用的 LlamaEmbeddings。嵌入和 LLM 都将在 GPU 上运行，也支持在没有 GPU 的情况下使用 CPU（请参见下面的说明）。

在没有网络连接的情况下，使用 LLM 的强大功能，可以对文档提问。100% 的隐私保护，没有任何数据会离开您的执行环境。您可以摄取文档并在没有网络连接的情况下提问！

使用 LangChain、Vicuna-7B（以及更多！）和 InstructorEmbeddings 构建，使用了私有的 GPT 模型。

环境设置

安装 conda

conda create -n localGPT

激活环境

conda activate localGPT

为了设置您的环境以运行此处的代码，首先安装所有的依赖项：

pip install -r requirements.txt

如果您想要使用 BLAS 或 Metal 与 llama-cpp，可以设置适当的标志：

# 示例：cuBLAS
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install -r requirements.txt

Docker

在 Nvidia GPU 上安装所需的用于 GPU 推断的软件包，如 gcc 11 和 CUDA 11，可能会导致与系统中的其他软件包发生冲突。 作为 Conda 的替代方案，您可以使用提供的 Dockerfile 和 Docker 运行时。 它包含 CUDA，您的系统只需要 Docker、BuildKit、Nvidia GPU 驱动程序和 Nvidia 容器工具包。 使用 进行构建，需要 BuildKit。 Docker BuildKit 目前在 时不支持 GPU，只在 时支持 GPU。