Guide · 使用教程
LLMLingua Python 教程:压缩预算、关键信息保留与效果校验
固定模型快照与 CPU 环境,检查中英文四组压缩输出、完整输入预算和关键短语,保留全部拦截结果及十一项本地验证。
本教程会保留失败,而不追求全部通过
用 LLMLingua-2 压缩两个合成中英文文本,各测试 rate=0.5 和 0.8,再核对精确短语与完整输入预算。四组实际输出均被保守门槛拦下,其中包含关键禁令变化、编号格式变化和中文 token 增加。程序保存报告,不调用下游回答模型。
固定环境为 Python 3.11、LLMLingua 0.2.2、PyTorch 2.2.2、Transformers 4.44.2、Accelerate 0.34.2、NumPy 1.26.4 和 tiktoken 0.14.0,在本次 Intel macOS CPU 环境运行。这是复现条件,不代表所有平台都应使用相同版本,部署前应重新核对兼容性与依赖。
第一步:安装独立环境
python3.11 -m venv .venv
source .venv/bin/activate
python -m pip install 'llmlingua==0.2.2' 'torch==2.2.2' 'numpy==1.26.4' 'transformers==4.44.2' 'accelerate==0.34.2' 'tiktoken==0.14.0'
python -m pip check
LLMLingua 是项目系列,下面明确启用 use_llmlingua2。不要把旧版默认 LLaMA 路径、LongLLMLingua 或其他方法的参数混进本示例,也不要把公开论文的最大压缩倍数当作本次结果。
第二步:准备固定模型与编码资源
保存为 prepare_model.py,在联网环境运行。本次使用官方多语言 BERT MeetingBank 权重,模型卡标注 Apache-2.0,库自身为 MIT。两者分别核对,不能将库许可套用到所有权重。
from huggingface_hub import snapshot_download
import tiktoken
snapshot_download(
'microsoft/llmlingua-2-bert-base-multilingual-cased-meetingbank',
revision='5f0c82792b7ea14c6484e015b6a072009496b7f2',
local_dir='./llmlingua-2-bert-base-multilingual-cased-meetingbank',
allow_patterns=['*.json', '*.txt', '*.safetensors'],
)
tiktoken.get_encoding('cl100k_base')
export HF_HOME="$PWD/.hf-cache"
export TIKTOKEN_CACHE_DIR="$PWD/.tiktoken-cache"
python prepare_model.py
常见问题
- 压缩率能当成实际 token 比例吗?
- 不能。实际输出和目标 tokenizer 会影响计数,本次中文 0.8 的计数甚至增加。
- 短语检查通过就无损吗?
- 不能。短语出现只是必要条件,还需核对数字、否定与关系及下游答案。
- 四组被拦下都表示语义错误吗?
- 不是。部分只是格式不匹配;报告区分格式、事实和预算问题。
- 分块、重排与压缩能互相替代吗?
- 不能直接替代。它们改变不同环节,组合后的效果仍需验证。
- 本次调用付费回答模型了吗?
- 没有。只验证本地压缩与门槛,不宣称下游问答质量或费用收益。
- 软件免费是否包含所有费用?
- 不包含模型准备、计算、内存、存储、维护和下游调用等成本。