2026 年 5 款 LLM 应用评估平台推荐：Braintrust、Langfuse、Phoenix 怎么选

先看结论：按评估任务选工具

做 LLM 应用评估时，先问团队要解决什么问题：发布前比较候选版本、上线后定位真实失败、给安全和质量设置门槛，还是在私有环境保存全部轨迹？“支持评估”并不代表五款产品可直接互换。下面按工作流而非厂商宣传指标推荐：Braintrust 适合把生产问题持续转成版本化评估；Langfuse 适合以可观测性为中心并重视开源、自托管；Arize Phoenix 适合希望从开源追踪与实验起步的团队；Promptfoo 适合把提示词测试和红队用例放进本地或 CI；LangSmith 适合已经围绕 LangChain、LangGraph 开发的应用。排名表示本文场景下的阅读顺序，不是同一数据集跑出的准确率榜单。

选择标准：先定义“好”，再比较软件

一次有意义的选型应回答六个问题。第一，能否从真实对话或工具调用中定位失败，并在脱敏后保存为稳定样例？第二，数据集是否可标记版本，使基线与候选在同一批案例上运行？第三，评分能否结合确定性代码、人工标签和模型评审，而不是只给一个缺乏解释的总分？第四，能否按业务场景、语言、风险等级拆分结果，查看退步样例？第五，原始数据去哪里、留多久、谁能访问，是否符合团队的部署边界？第六，费用除订阅外是否包括事件、处理数据、评分、模型、存储与运维？先把这些写成验收表，再开通试用。

1. Braintrust：从生产轨迹到回归实验的闭环

Braintrust把 tracing、版本化数据集、实验和评分放在同一流程。适合已经有线上 Agent、每周要调整提示词、模型或检索策略，且希望每次改动都能追溯到具体失败案例的团队。一个实用起点是采样已获授权的生产记录，删除身份信息，为每条案例标注期望行为和风险类型；随后用固定的数据集版本比较现网与候选。不要只看平均分：退款权限、错误承诺和工具调用越权等关键用例要单独设阻断条件。

官方价格显示，Starter 平台费为每月 0 美元，含 1 GB 处理数据、1 万次评分、10 美元模型额度和 14 天留存；超过包含量仍可能产生费用。Pro 平台费每月 249 美元，含 5 GB 处理数据、5 万次评分、100 美元模型额度和 30 天留存。对刚起步的团队，先估算每天的 trace 体积、每条运行会触发多少评分，再决定是否升级。其核心限制是评价体系需要你自己设计；平台不会代替人工定义客服问题的正确业务答案。

2. Langfuse：以可观测性为中心的开源路线

Langfuse覆盖追踪、提示词管理、数据集、线上与离线评估，强调开源和可自托管。如果团队首要诉求是看清不同模型、工具与会话的耗时和成本，同时希望保留自行部署选项，它值得优先试用。通过数据集和实验也能做回归验证，不能把它简单当成“只有日志”的产品。自托管时需承担数据库、存储、升级和告警的实际工作；托管版则按单位用量与套餐计算。

截至 2026 年 9 月，Langfuse Cloud 价格列出 Hobby 免费，含每月 5 万 units、30 天数据访问和 2 个用户；Core 每月 29 美元，含 10 万 units；Pro 每月 199 美元。这里的 units 与 Braintrust 的 GB 和 scores 不是同一计费单位，不能只比较每月平台费。对于大量短 trace 或高频线上评分的应用，应该把一周真实样本分别导入测试，再看账单预测和数据查询体验。

3. Arize Phoenix：开源自建追踪和评估

Arize Phoenix是开源的 LLM 可观测与评估工具，可查看基于 OpenTelemetry/OpenInference 的轨迹，并组织数据集、实验和评估。适合希望自己掌控实例与数据、能够维护部署环境的工程团队。它的产品边界要看清：Phoenix 开源项目与 Arize 的其他企业产品不是同一套餐，不应把后者功能直接写到 Phoenix 的免费能力里。自建没有软件订阅费并不等于零成本，还要计入服务器、对象存储、访问控制、备份、升级、模型评审和维护时间。

如果你已经有通用 OpenTelemetry 采集体系，可以先接一条代表性客服流程：用户提问、知识检索、工具调用和最终答复。检查 trace 是否能稳定关联同一会话，再导入 50 条人工标注案例运行实验。若团队对审计和内部网络要求很高，部署能力会比界面上的单项分数更重要。