项目详情
深入了解 text-generation-webui 的功能与特性
文本生成网页界面
一个用于大型语言模型的Gradio网页界面。
其目标是成为文本生成的stable-diffusion-webui。
特性：
- 3种界面模式：默认（两列）、笔记本和聊天
- 多个模型后端：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers、AutoAWQ
- 下拉菜单可快速切换不同的模型
- LoRA：可以动态加载和卸载LoRA，使用QLoRA训练新的LoRA
- 精确的聊天模式指令模板，包括Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM等
- transformers库支持4位、8位和CPU推理
- 使用transformers samples加载llama.cpp模型（
llamacpp_HF加载器） - 多模态流水线，包括LLaVA和MiniGPT-4
- 扩展框架
- 自定义聊天角色
- 使用Markdown呈现的输出，支持LaTeX渲染，可以与GALACTICA等项目一起使用
- 与OpenAI兼容的API服务器，提供聊天和完成两个终点节点--参见示例
这个项目有一个详细的文档，可以在这里查看：
https://github.com/oobabooga/text-generation-webui/wiki
安装方法：
- 克隆或下载本仓库。
- 运行适合你所用操作系统的
start_linux.sh,start_windows.bat,start_macos.sh, 或start_wsl.bat脚本。