llama2-webuiRun any Llama 2 locally with gradio UI on GPU or CPU from anywhere (Linux/Windows/Mac). Use llama2-wrapper as your local llama2 backend for Generative Agents/Apps.
llama2-webui基本信息
llama2-webui介绍
llama2-webui
llama2-webui是一个使用Gradio Web UI在GPU或CPU上运行Llama 2的项目。它可以在Linux、Windows和Mac上运行，支持所有的Llama 2模型（7B, 13B, 70B, GPTQ, GGML, CodeLlama），并支持8位和4位模式。您还可以使用llama2-wrapper作为本地的Llama 2后端，用于生成代理/应用程序。您可以在colab中找到示例。此外，您还可以在Llama2模型上使用OpenAI兼容的API。
该项目的特性包括：
- 各种Llama 2模型的支持，包括transformers、bitsandbytes(8位推理)、AutoGPTQ(4位推理)和llama.cpp等后端。
- 提供了一些演示例子，比如在MacBook Air上运行Llama2和在自由的Colab T4 GPU上运行Llama2。
- 您可以使用llama2-wrapper作为您的本地Llama 2后端，并进行配置。
- 您可以使用提供的API作为OpenAI兼容的API。
具体内容包括安装方法、用法、基准测试、Llama-2模型下载方法和技巧等。您可以根据需要选择安装方法，运行相应的UI，使用api进行推理。如果您的设备性能如何，也可以进行基准测试。如果遇到安装或运行问题，请查看常见问题解答或与我们联系。
该项目的许可证为MIT许可证，并且非常欢迎您的贡献。
llama2-webui相关项目
No-code LLM Platform to launch APIs and ETL Pipelines to structure unstructured documents
Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.
:robot: The free, Open Source alternative to OpenAI, Claude and others. Self-hosted and local-first. Drop-in replacement for OpenAI, running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more models architectures. Features: Generate Text, Audio, Video, Images, Voice Cloning, Distributed, P2P inference
Chatbot for documentation, that allows you to chat with your data. Privately deployable, provides AI knowledge sharing and integrates knowledge into your AI workflow
A programming framework for agentic AI 🤖
