garak vs Inspect AI：漏洞扫描与通用 Agent 评估怎么选？

简短结论

想先用探针组织模型或对话系统的漏洞扫描，可考虑 garak；需要把数据集、Agent 执行步骤、工具与评分组合成任务，可考虑 Inspect AI。两者都能参与安全评估，差别在于默认组织方式、已有组件与你需要自己编写的部分，而不是一个“测安全”、另一个“完全不测安全”。

本文帮助已有 Python 开发能力的团队决定先做哪种评估。没有运行两个工具的共同漏洞检出基准，也没有使用真实业务接口或付费模型做安全对比。资料核对日期为 2026-10-22；教程只使用 garak 内置测试目标验证流程。

核心差异速览

维度	garak	Inspect AI
组织入口	探针、目标连接器与检测器	数据集、solver、scorer 与任务
典型起点	针对明确对象选取扫描范围	定义任务与评分依据
Agent 过程	视目标适配与测试设计而定	可表达工具使用和多步执行
结果解释	检测器命中及其原始证据	样本、运行轨迹和评分
适用边界	不自动证明完整应用安全	不自动覆盖全部风险类别
费用	软件许可与模型、运行费用分开	软件许可与模型、运行费用分开

garak 更顺手的起点

已有一个明确授权测试的模型或对话接口，想先检查若干风险类别时，garak 的插件组织有助于确定首轮范围。选定探针和检测器，记录目标与版本，再检查完整的输入输出。先少量运行，理解失败代表什么，比默认扩大范围更容易控制费用与噪声。

探针和检测器的具体定义非常重要。一个检测器可能依赖字符串模式，另一个可能依赖模型判定。两种结果的误报与漏报不同，不能只看最后的通过率。先人工检查少量典型命中，并记录不适用、跳过或执行错误，再将确认后的案例纳入回归。

还要区分目标对象。通过某个连接器测试基础模型，不等于已经覆盖了应用中的检索、身份隔离、审批和数据库写入。若要测试完整应用，需要合适的目标适配与观察手段，确认失败是否真正发生在用户路径上。

Inspect AI 更顺手的起点

当问题涉及多步 Agent，例如读取文档、调用工具、等待批准、执行操作并回答，Inspect 的任务结构方便将过程组织起来。dataset 定义样本，solver 运行过程，scorer 按指定依据评分；工具和沙箱可按任务需要配置。

Inspect 也能设计对抗或安全任务。已有相关任务时，可以让同一输入同时得到质量与风险评分，避免只看一个聚合数字。对于工具调用，要记录请求了什么操作、是否经过审批、是否产生实际副作用，而不只比较最后的文本答案。

代价是需要明确的任务和评分设计。框架提供组件，不会自动知道你的业务风险。对“应拒绝的越权操作”和“应正常完成的用户请求”分别建立对照，才能防止系统靠过度拒绝取得表面的好成绩。

如何用同一个案例比较

以客服 Agent 为例，设定一个合成用户、一份允许访问的订单和一份不允许访问的记录。预期行为是只返回授权数据，不能因为文档中包含某段指令而更改操作权限。这个测试应运行在隔离环境，不触发真实发信、退款或删除。

用 garak 时，先确认目标连接器与输入是否能触达完整应用，并为实际失败定义合适检测；用 Inspect 时，把初始上下文、工具行为和评分依据写成任务。两边保存相同业务条件，但不要把插件数量当成相同样本数，也不要把最终分数直接相减。

真正可比的内容是行为和证据：是否展示了越权数据、是否执行了未批准操作、正常请求是否被误拒。工具默认报告的统计口径可以不同，应在同一套外部验收规则下解释。

费用与执行限制

garak 的开源库代码采用 Apache-2.0，Inspect 开源框架采用 MIT；这里的 $0 指软件许可费，不是完整运行成本。模型生成、判定模型、测试编排、沙箱、日志与人工复核分别核算。使用外部服务时，还需确认适用账户和额度。