先看怎么选
从复杂Agent的span树定位问题,可看Arize AX;希望函数、输入输出与代码一起追踪,可看W&B Weave;主要从统一模型入口观察多提供方成本和错误,可看Portkey。接入范围决定能看到哪一段链路。
| 这一步要完成 | 相关工具 | 工具介绍 |
|---|---|---|
| Agent调用树 | 查看介绍 | |
| 函数与模型追踪 | Prompts | 查看介绍 |
| 模型入口观测 | 查看介绍 |
一次AI请求往往包含检索、模型调用、工具执行与答案整理。只保留最终回答,很难知道错误出在哪一步。Arize AX、W&B Weave和Portkey都提供观测能力,区别在于追踪如何进入代码,以及记录怎样继续用于分析和改进。
先读懂一条调用链
下面是自拟的请求结构,不是产品测量数据:
用户提问 → 检索资料 → 模型决定调用工具 → 工具返回记录 → 模型生成答案
若答案用了旧价格,应先看检索或工具返回的资料;若资料正确却回答错,应继续检查模型输入与输出。每一段记录通常称为span,关联起来形成trace。观测平台的价值是保留这些层次及其关联,而不是只做一个响应时间总表。
从调用树进入问题:Arize AX
Arize AX的追踪视图展示输入、输出、延迟、状态,以及模型调用的Token和成本信息。它支持框架集成与手工埋点,适合需要从复杂Agent链路中定位问题,再把真实流量带到评估与实验的团队。入门追踪文档给出具体的span树阅读方式。工具执行和检索若没有被记录,只接入模型SDK仍不等于获得完整业务链。
从函数与代码组织记录:W&B Weave
W&B Weave可以追踪模型调用和任意函数,将输入、输出与代码联系起来,再进行版本、反馈和评估。它适合希望把应用逻辑也当成可追踪对象的开发者。函数追踪指南展示了以Op包装函数的方式。这里推荐的是W&B的Weave能力,不是把原来产品库中的“Prompts”名称当成独立现时工具。
从模型流量入口集中观察:Portkey
Portkey的日志、追踪、元数据与分析能力贴近统一模型入口。对已经通过网关调用多个提供方的团队,可以按请求标签观察成本、延迟与错误,不必每个应用各自整理一份调用账。观测文档说明了这些能力。但网关看到的请求与应用完整业务链存在范围差异;希望定位外部工具或应用函数时,还需把对应上下文接进来。
这三条路径可以按现有架构选择:复杂Agent链路与持续质量分析,看Arize AX;希望追踪函数及其代码版本,看Weave;多模型入口已有统一流量管理,看Portkey。日志记录的是发生了什么,评估再判断发生的结果是否符合要求,两者结合才形成可解释的改进过程。
工具推荐与取舍
相关工具
arize.com
Agent调用树
Arize AX通过trace与span树展示Agent请求中的输入输出、状态、延迟和模型成本,并连接后续评估与实验。适合从多步骤链路查找具体失败位置。
- 适合谁用
- 需要观察检索、工具和模型协作过程的团队。
- 选择前要知道
- 完整程度取决于埋点范围;只有模型调用日志不能代表所有业务动作。
查看交付与边界
- 真实流量到质量分析
Prompts
函数与模型追踪
W&B Weave可将模型调用和任意函数作为追踪对象,关联输入、输出与代码,并承接版本、反馈与评估。适合希望以函数组织应用观察和调试的开发者。
- 适合谁用
- 应用逻辑分布在多个函数,需要追溯具体调用与代码的人。
- 选择前要知道
- 应确认哪些函数被包装和哪些提供方自动记录;产品库旧名称不代表单独的提示词工具。
查看交付与边界
- 输入输出、代码及反馈
portkey.ai
模型入口观测
Portkey将请求日志、追踪、元数据和分析集中在模型访问入口。团队可以用标签关联项目和用户,统一观察多提供方流量,适合与既有网关管理一起使用。
- 适合谁用
- 希望集中理解多模型用量、延迟和错误分布的平台团队。
- 选择前要知道
- 网关请求与完整应用链路范围不同;应用内工具和检索需要相应接入。
查看交付与边界
- 日志、元数据与用量
推荐依据
依据各产品官方文档与公开功能说明,按本篇任务的接入方式、交付产物和使用边界筛选。选择建议为编辑分析;示例另行标注,不构成性能实测或全面排名。
官方资料研究与编辑选用分析;未经运行的示例不标为实测。封面为编辑示意图。
参考资料
功能、套餐与使用条件,以对应产品的最新资料为准。
内容更新于 2026-11-11



