项目详情
深入了解 localGPT 的功能与特性
localGPT
localGPT 是一个基于 GPT-4 的项目,灵感来自于原始的 privateGPT。这里的大部分描述都是受到原始 privateGPT 的启发。
对于项目的详细概述,请观看以下视频:
在这个模型中,我用 Vicuna-7B 模型替换了 GPT4ALL 模型,并使用 InstructorEmbeddings 替代了原始 privateGPT 中使用的 LlamaEmbeddings。嵌入和 LLM 都将在 GPU 上运行,也支持在没有 GPU 的情况下使用 CPU(请参见下面的说明)。
在没有网络连接的情况下,使用 LLM 的强大功能,可以对文档提问。100% 的隐私保护,没有任何数据会离开您的执行环境。您可以摄取文档并在没有网络连接的情况下提问!
使用 LangChain、Vicuna-7B(以及更多!)和 InstructorEmbeddings 构建,使用了私有的 GPT 模型。
环境设置
安装 conda
conda create -n localGPT
激活环境
conda activate localGPT
为了设置您的环境以运行此处的代码,首先安装所有的依赖项:
pip install -r requirements.txt
如果您想要使用 BLAS 或 Metal 与 llama-cpp,可以设置适当的标志:
# 示例:cuBLAS
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install -r requirements.txt
Docker
在 Nvidia GPU 上安装所需的用于 GPU 推断的软件包,如 gcc 11 和 CUDA 11,可能会导致与系统中的其他软件包发生冲突。 作为 Conda 的替代方案,您可以使用提供的 Dockerfile 和 Docker 运行时。 它包含 CUDA,您的系统只需要 Docker、BuildKit、Nvidia GPU 驱动程序和 Nvidia 容器工具包。 使用 进行构建,需要 BuildKit。 Docker BuildKit 目前在 时不支持 GPU,只在 时支持 GPU。