Chonkie

知识库已经解析出文字，接下来仍要决定怎么切块、保留哪些来源字段，以及送给嵌入模型的完整输入是否超限。Chonkie 是面向 RAG 的 Python 文本处理与分块库，适合需要独立维护入库流程、比较不同切分策略的开发团队。官方文档

Chonkie 能做什么

Chonkie 提供按 token、句子、递归规则、语义和代码结构等方向的分块组件，也能通过 Pipeline 组织清理、分块、后处理、嵌入与存储步骤。组件是否调用模型、下载权重或访问外部服务取决于所选方法与配置，不能把全部能力描述成无模型的离线字符串切分。组件目录、Pipeline 文档

例如，TokenChunker 使用所选 tokenizer 控制窗口与重叠；RecursiveChunker 根据层级规则逐步切分。两者的参数与语义不同，不能给递归切分器照搬 token 窗口的重叠参数。Token Chunker、Recursive Chunker

本组教程固定 Chonkie 1.7.0，使用真实 cl100k_base tokenizer 复算最终输入，检查原文位置、稳定 ID 与来源信息。这里的验证不包含真实检索质量、模型回答质量或五家速度排名。当前发布包

PDF 解析、OCR 和文本分块解决不同问题。上游丢掉的表头、页码或阅读顺序，不会因为换一个 chunker 自动恢复。下游还要处理增量更新、版本替换、权限过滤和检索验收。

默认字符或词级计数也不能直接当作嵌入模型 token 数。若最终输入还附加标题、章节或上下文，应对完整输入重新计数；保留原文位置时，要注明位置对应哪一版文本、哪种索引单位。

2026-10-20 核对的 Chonkie Python 包为 1.7.0，使用 MIT 许可，软件许可费用为 $0。主机、OCR、语义或生成式切分、嵌入模型、向量数据库、存储与维护费用另计。PyPI、许可证

目前旧官网入口转到 Feyn，旧 GitHub 组织地址转到 feyninc/chonkie，但开源库和包名仍叫 Chonkie。本文介绍开源库，不把品牌调整等同于包停止维护，也不引用未经实时核对的云套餐数字。、