2026 年 LLM 安全测试工具推荐：扫描、红队测试与费用怎么选？

快速建议

想先对自有模型或对话系统做有范围的漏洞扫描，可试 garak；想围绕应用场景配置红队测试与回归，可评估 Promptfoo；需要更细地编排风险测试流程，可了解 PyRIT。若需要追踪 Agent 的步骤与评分，Inspect AI 是补充；若需要验证敏感信息识别和脱敏，Presidio 是补充。

这五项不是完全相同的扫描器。前三项主要帮助组织安全测试，后两项分别补充通用评估与数据处理验证。编号是介绍顺序，没有共同漏洞检出率、速度或价格排名，也没有把工具数量当成安全覆盖的证明。资料核对日期为 2026-10-22。

先定义需要验证的风险

假设你维护一个客服 Agent。它既可能回答错误，也可能展示不属于当前用户的订单，或把文档里的操作指令当作真实授权。这三类问题需要不同证据：质量评估检查回答，隔离测试检查权限边界，工具测试检查审批与实际副作用。

测试目标也要写清：基础模型、带检索的聊天接口、完整 Agent 和生产防护规则，并不相同。直接测试基础模型的结果不能代表整个应用，也不能证明数据库过滤或外部工具访问正确。先画清数据与操作路径，再选择工具，比先收集一大串扫描器有用。

工具	优先考虑的任务	需要另外补齐
garak	探针驱动的模型与对话系统扫描	业务案例、人工复核、完整应用边界
Promptfoo	应用红队测试配置与回归	目标适配、模型费用、结果解释
PyRIT	定制风险测试的编排与评分	开发维护、目标配置与数据管理
Inspect AI	Agent 任务、轨迹与评分	安全案例及相应 scorer 设计
Presidio	敏感信息识别和脱敏验证	身份权限、其他风险测试与漏报评估

1. garak：从有限探针扫描开始

garak 把探针、目标连接器和检测器组合成扫描。适合能维护 Python 环境，且希望记录模型或对话系统在指定输入下行为的团队。先选明确插件、有限生成数量和固定报告目录，复核几个完整案例，再决定扩大哪些风险类别。

它不负责部署在线权限和业务审批。检测器判为失败，可能需要调查上下文；判为通过，也可能只是该规则没有捕捉到问题。不要把不同配置的通过率放在一起，当作不同模型的完整安全排名。

本地验证可以先用内置测试目标，确认结果记录没有遗漏。这类示例不会运行真实模型，所以只能证明流程通畅。配套 garak 入门教程 会专门演示始终通过和始终失败的检测器，避免把测试 PASS 写成安全保证。

2. Promptfoo：按应用场景组织回归

Promptfoo 提供应用红队测试与评估工作流，支持配置目标、测试策略和检查，并可集成 CI。适合希望把测试配置放进项目、按版本比较结果的团队。具体生成与评判方式需要随项目确认，不能仅因工具在本地运行就认为完全离线。

接入前检查应用描述里是否包含客户或内部数据，确认测试生成、目标调用和判定分别发往哪里。对模型配额和服务依赖做独立预算，不把开源 CLI 当成包含全部计算的免费服务。

如果已经有日常质量回归，可以把风险案例与正常行为案例并排管理。阻断某类输入后，正常客服请求是否被误拒，应该同时观察；只展示拦截率可能隐藏用户体验退化。

3. PyRIT：需要自行编排风险测试

PyRIT 是面向生成式 AI 风险识别的开源框架。对于需要定制测试流程、目标交互、输入变换与评分的人，它比简单复制一条命令更接近开发组件。是否值得使用，取决于团队能否维护配置、数据和复核流程。

定制程度越高，越需要保存版本、目标、测试输入来源和评分依据。不能一边调整测试方法，一边把新旧结果当成相同实验。先使用少量合成案例确认记录完整，再扩展到授权环境中的业务风险。

框架不代替目标的授权，也不自动限制全部外部调用。运行前确认模型账户、数据流向、超时与停止条件；对可能触发邮件、删除或写入的 Agent，使用不会产生真实业务副作用的环境。

4. Inspect AI：补足任务和过程评估

Inspect AI 的 dataset、solver 与 scorer 便于表达完整任务，也能观察 Agent 工具调用与运行记录。它可以用于安全评估，不能简单归类为“只测质量”；区别在于你需要设计哪些任务和评分，而不是期待所有风险都自动覆盖。

如果失败发生在多步工具使用中，保存步骤与证据通常比只保存最后一句回答更容易定位原因。把被测工具换成隔离或模拟实现后，再检查越权请求、审批和中断等路径。普通任务得分高并不能抵消严重的权限错误。

已有 Inspect 项目的团队，可以先添加少量明确的风险任务，而不是立刻换平台。更具体的职责比较见 garak vs Inspect AI。

5. Presidio：补足敏感信息处理验证

Presidio 的识别与匿名化组件用于发现并处理敏感信息。它不是通用漏洞扫描器，却能帮助验证模型前后的文本处理：哪些实体应被识别，哪些文本应保留，脱敏后业务是否仍然可用。

中文、行业编号和不同国家的格式需要按配置验证。识别结果会有误报和漏报，不能看到一条邮箱被遮盖就宣称没有数据泄漏。先用标注数据评价识别与脱敏，再在完整应用中测试是否存在绕过路径。

它也不负责判断用户有没有权访问记录。跨租户权限错误应该通过后端控制和专项测试处理，不能依赖输出遮盖补救。见 garak vs Presidio。

费用与数据流怎么比较

本篇讨论开源组件，不列未经实时确认的企业套餐金额。garak、Inspect AI、Presidio 等软件本身的开源许可不等于全部工作量免费。预算包括测试生成、目标模型、判定模型、重试、本地计算、日志与复核时间。不同插件和框架的调用结构不同，不能只比较测试题数。

先限定一个小范围，用实际用量校准预算，再增加样本。单个参数里的生成数量通常不是总请求或美元硬上限；服务账户预算、并发、超时和停止机制要共同配置。报告也可能保存敏感响应，按测试数据的权限管理，分享前单独检查。

中国大陆网络、模型下载、账户可用地区和付款方式需在目标环境验证。不要为了完成扫描静默切换到未经允许的外部模型，或把原本要求本地处理的数据发往其他服务。

如何决定先用哪一个

先写出三到五个可以人工判断的失败案例，并保留正常行为作为对照。需要探针驱动的首轮检查，试 garak；需要项目内配置与回归，比较 Promptfoo；需要自定义编排，研究 PyRIT。已有 Agent 评估或脱敏管线时，把 Inspect AI、Presidio 放在它们擅长的环节。

最终验收要保留错误、超时、跳过和不适用项。只比较成功执行的少量测试，会高估效果。发现问题后保存可复现案例、修复并回归；没有发现问题时，报告测试范围和剩余不确定性，而不是输出“系统已安全”。

官方资料

• garak 与 稳定版 CLI
• Promptfoo 红队测试
• PyRIT 官方项目
• Inspect AI
• Presidio 当前文档