minimind

MiniMind 是一个轻量级的开源语言模型，旨在降低大语言模型（LLM）的使用门槛，使个人用户能够在普通设备上快速训练和推理。本文将详细介绍 MiniMind 的训练流程、使用示例、成果展示以及训练条件。

MiniMind 概述

MiniMind 于 2024 年 8 月发布，最小版本仅需 26M 的参数量，约为 GPT-3 的 1/7000。这使得用户可以在仅需 2GB 显存的显卡上进行推理和训练。该模型的设计目标是让用户能够从零开始，最快在 3 小时内完成模型的训练，适合个人设备使用。

特点

• 轻量化: MiniMind 的体积小，训练速度快，适合个人设备。
• 高效性: 尽管模型较小，但在对话能力上表现流畅。不同型号的评分从 50 到 60 不等。
• 兼容性: 支持多种流行框架，如 transformers 和 accelerate，便于集成和扩展。

训练条件

硬件要求

• 显卡: 至少需要一块支持 CUDA 的显卡（如 RTX 3090）。
• 显存: 最低要求为 2GB 显存。

软件要求

• 操作系统: Ubuntu 20.04
• Python: 3.9
• PyTorch: 2.1.2
• CUDA: 12.2

数据集

• 预训练数据: 使用 Seq-Monkey 通用文本数据集（约 10B tokens）或 SkyPile-150B 数据集的可公开部分。
• SFT 数据集: 包含 12M 条数据，其中包括 10M 条中文和 2M 条英文数据。

训练流程

MiniMind 的训练流程分为以下几个主要步骤：

1. 环境配置:

   • 设置 Python 环境，安装必要的库。
   bash复制

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple