llama2-webui

llama2-webui是一个使用Gradio Web UI在GPU或CPU上运行Llama 2的项目。它可以在Linux、Windows和Mac上运行，支持所有的Llama 2模型（7B, 13B, 70B, GPTQ, GGML, CodeLlama），并支持8位和4位模式。您还可以使用llama2-wrapper作为本地的Llama 2后端，用于生成代理/应用程序。您可以在colab中找到示例。此外，您还可以在Llama2模型上使用OpenAI兼容的API。

该项目的特性包括：

• 各种Llama 2模型的支持，包括transformers、bitsandbytes(8位推理)、AutoGPTQ(4位推理)和llama.cpp等后端。
• 提供了一些演示例子，比如在MacBook Air上运行Llama2和在自由的Colab T4 GPU上运行Llama2。
• 您可以使用llama2-wrapper作为您的本地Llama 2后端，并进行配置。
• 您可以使用提供的API作为OpenAI兼容的API。

具体内容包括安装方法、用法、基准测试、Llama-2模型下载方法和技巧等。您可以根据需要选择安装方法，运行相应的UI，使用api进行推理。如果您的设备性能如何，也可以进行基准测试。如果遇到安装或运行问题，请查看常见问题解答或与我们联系。

该项目的许可证为MIT许可证，并且非常欢迎您的贡献。