Inspect AI 介绍
了解工具的详细功能和使用方法
当 Agent 回答正确，却调用了错误对象、重复执行工具，或者靠猜测绕过查询时，只检查最后一句话会漏掉问题。Inspect AI 是面向大模型与 Agent 的开源评估框架，适合把任务、工具、执行过程和评分规则放进可重复运行的 Python 评估工程。
Inspect AI 适合什么任务
Inspect 的基本单位是 Task：数据集提供输入与目标，solver 或 agent 负责执行，scorer 判断结果。既可评估简单问答，也可评估多步工具使用、编码和其他较长任务。评估日志可通过 Inspect View 查看，便于把失败追溯到某次调用。官方介绍
它更适合希望在代码中明确任务条件、执行环境和评分方式的开发团队。已有应用也可通过自定义 solver 或 Agent Bridge 接入，不能据此假定生产系统无需适配就能完整重放。Agent 接入说明、Agent Bridge
核心能力与使用边界
- 任务与评分可组合：同一批样本可搭配不同模型、agent 和 scorer。确定性断言与模型评分应分别记录，避免只剩一个总分。
- 工具调用评估：自定义工具可使用 Python 注册，框架记录模型请求与工具返回。要检查工具名、完整参数、执行结果和最终答案，而不只是“调用过某个工具”。
- 隔离与限额：代码执行等任务有 sandbox 接口；评估可配置 token、消息、时间及费用相关限额。具体配置随版本核对。
- 日志分析：完整轨迹有助定位错误，但日志可能包含输入、工具结果和其他敏感数据，仍需脱敏、访问控制与保留策略。工具文档、限额文档、日志文档
Sandbox 也不是自动授予网络、真实凭据或写权限的理由。首次评估应使用合成数据、只读工具和测试环境，明确允许动作，再逐步验证真实集成。
费用：免费许可与评估运行分开算
2026-10-17 核对，Inspect 主仓库采用 MIT 许可，没有要求按月付费才能运行框架。实际成本来自被测模型、评分模型、工具 API、沙箱计算、日志存储和维护。使用本地模型也会占用自己的算力，不能把软件许可免费写成“无限次零成本评估”。官方许可证
先记录一个样本平均模型调用数、重试数和评分调用数，再乘样本量与重复次数。例如 100 个样本、每个 3 次重复，如果各次都需要模型作答和另一模型判分，就是 300 条执行轨迹及对应评分调用；费用不能只按 100 次问答估计。
框架的 cost limit 需要正确的模型价格数据，不能替代供应商账户预算或覆盖任意外部工具账单。并发、在途请求和运行资源也要单独控制。费用限制说明
与其他方案如何选择
希望把 pytest 式回归、现成指标与组件或轨迹评分接入 Python 应用，可同时比较 DeepEval；希望共享实验、标注和生产追踪，可比较 Braintrust。它们覆盖的层次不完全相同，框架和协作平台可以按需要组合，不必先做全量迁移。
最低验收应同时检查：任务是否完成，工具对象与参数是否正确，是否存在额外动作，遇到工具失败是否停止编造，以及限制触发时如何记录未完成样本。较高总分不代表这些单项都满足要求。
本文基于当前官方文档整理；配套教程使用固定 Inspect 版本与模拟模型验证评估管线，未做付费模型能力基准、真实工具写入或生产安全测试。配图为 ImageGen 概念插图，非官方标志。继续阅读 Agent 评估框架推荐、Inspect AI vs DeepEval、Inspect AI vs Braintrust 和 工具调用评估教程。