Braintrust 介绍
了解工具的详细功能和使用方法
Braintrust 是什么
Braintrust 是面向 LLM 应用和 AI Agent 的可观测与评估平台。它把生产环境中的调用轨迹、版本化测试数据集、实验、自动与人工评分连接起来，帮助团队回答“这次提示词或模型改动是否真的改善了质量”。对多步骤 Agent，调试时可查看提示词、工具调用、响应与耗时，再将真实失败样例转成回归测试。它适合已有应用且需要持续发布的团队；只想偶尔比较两个提示词的人，先用轻量脚本也可能足够。
核心工作流
先接入 tracing，采集经过授权并脱敏的输入、输出和工具调用。把典型问题、边界条件与线上失败整理成数据集，为每条样例保存 input、可选的 expected、metadata 和标签。然后固定同一数据集版本，分别运行现网基线与候选版本；让代码规则验证硬约束，让人工标注或经过校准的模型评审处理主观质量。比较整体分数之外，还要按场景、语言、难度和失败类型拆分，人工复核退步样例后再决定是否发布。
优势与限制
Braintrust 的优势是从生产轨迹发现问题、回填数据集、运行实验再观察线上结果的闭环。版本化数据集和实验记录让团队更容易复现“哪一版模型在什么样的客服问题上退步”。它并不会自动定义正确答案；评估指标、标注质量、隐私边界和发布阈值仍需团队负责。模型评审可能偏向措辞或长答案，不能单独作为客服安全、退款承诺等高风险决策的依据。需要完全掌控数据与运行环境的团队，应先核对 Enterprise 部署选项，并与开源自托管方案比较。
价格与成本
截至 2026 年 9 月，官方价格页列出 Starter 每月 0 美元，含 10 美元模型额度、每月 1 GB 处理数据、1 万次评分及 14 天留存；超出后仍可能收费。Pro 每月 249 美元，含 100 美元模型额度、5 GB 处理数据、5 万次评分及 30 天留存。Enterprise 询价。预算时分别估算平台费、处理数据、评分次数、模型 token 和留存；“免费套餐”不等于生产流量完全免费。
适用人群
推荐给已部署客服 Agent、企业知识助手或复杂工作流，并希望把线上失败稳定变成测试样本的产品与工程团队。初次接入可从一个具体任务开始：选取 50–100 条脱敏样例，设计一条可解释的硬规则和一条经人工校准的质量评分，比较基线与候选的错误率，再逐步增加线上抽样。