追踪一次AI请求:观测平台怎样连接调用、成本与错误

比较Arize AX、W&B Weave和Portkey怎样记录AI请求,解释trace、函数与网关日志各自能帮助定位的问题。

本页目录

先看怎么选

从复杂Agent的span树定位问题,可看Arize AX;希望函数、输入输出与代码一起追踪,可看W&B Weave;主要从统一模型入口观察多提供方成本和错误,可看Portkey。接入范围决定能看到哪一段链路。

按环节与需求选择工具,可点「查看介绍」了解推荐理由与取舍。
这一步要完成相关工具工具介绍
Agent调用树
arize.com
查看介绍
函数与模型追踪
Prompts
查看介绍
模型入口观测
portkey.ai
查看介绍

一次AI请求往往包含检索、模型调用、工具执行与答案整理。只保留最终回答,很难知道错误出在哪一步。Arize AX、W&B Weave和Portkey都提供观测能力,区别在于追踪如何进入代码,以及记录怎样继续用于分析和改进。

先读懂一条调用链

下面是自拟的请求结构,不是产品测量数据:

用户提问 → 检索资料 → 模型决定调用工具 → 工具返回记录 → 模型生成答案

若答案用了旧价格,应先看检索或工具返回的资料;若资料正确却回答错,应继续检查模型输入与输出。每一段记录通常称为span,关联起来形成trace。观测平台的价值是保留这些层次及其关联,而不是只做一个响应时间总表。

从调用树进入问题:Arize AX

Arize AX的追踪视图展示输入、输出、延迟、状态,以及模型调用的Token和成本信息。它支持框架集成与手工埋点,适合需要从复杂Agent链路中定位问题,再把真实流量带到评估与实验的团队。入门追踪文档给出具体的span树阅读方式。工具执行和检索若没有被记录,只接入模型SDK仍不等于获得完整业务链。

从函数与代码组织记录:W&B Weave

W&B Weave可以追踪模型调用和任意函数,将输入、输出与代码联系起来,再进行版本、反馈和评估。它适合希望把应用逻辑也当成可追踪对象的开发者。函数追踪指南展示了以Op包装函数的方式。这里推荐的是W&B的Weave能力,不是把原来产品库中的“Prompts”名称当成独立现时工具。

从模型流量入口集中观察:Portkey

Portkey的日志、追踪、元数据与分析能力贴近统一模型入口。对已经通过网关调用多个提供方的团队,可以按请求标签观察成本、延迟与错误,不必每个应用各自整理一份调用账。观测文档说明了这些能力。但网关看到的请求与应用完整业务链存在范围差异;希望定位外部工具或应用函数时,还需把对应上下文接进来。

这三条路径可以按现有架构选择:复杂Agent链路与持续质量分析,看Arize AX;希望追踪函数及其代码版本,看Weave;多模型入口已有统一流量管理,看Portkey。日志记录的是发生了什么,评估再判断发生的结果是否符合要求,两者结合才形成可解释的改进过程。

工具推荐与取舍

相关工具

arize.com

Agent调用树

返回选择

Arize AX通过trace与span树展示Agent请求中的输入输出、状态、延迟和模型成本,并连接后续评估与实验。适合从多步骤链路查找具体失败位置。

适合谁用
需要观察检索、工具和模型协作过程的团队。
选择前要知道
完整程度取决于埋点范围;只有模型调用日志不能代表所有业务动作。
查看交付与边界
  • 真实流量到质量分析

Prompts

函数与模型追踪

返回选择

W&B Weave可将模型调用和任意函数作为追踪对象,关联输入、输出与代码,并承接版本、反馈与评估。适合希望以函数组织应用观察和调试的开发者。

适合谁用
应用逻辑分布在多个函数,需要追溯具体调用与代码的人。
选择前要知道
应确认哪些函数被包装和哪些提供方自动记录;产品库旧名称不代表单独的提示词工具。
查看交付与边界
  • 输入输出、代码及反馈

portkey.ai

模型入口观测

返回选择

Portkey将请求日志、追踪、元数据和分析集中在模型访问入口。团队可以用标签关联项目和用户,统一观察多提供方流量,适合与既有网关管理一起使用。

适合谁用
希望集中理解多模型用量、延迟和错误分布的平台团队。
选择前要知道
网关请求与完整应用链路范围不同;应用内工具和检索需要相应接入。
查看交付与边界
  • 日志、元数据与用量

推荐依据

依据各产品官方文档与公开功能说明,按本篇任务的接入方式、交付产物和使用边界筛选。选择建议为编辑分析;示例另行标注,不构成性能实测或全面排名。

官方资料研究与编辑选用分析;未经运行的示例不标为实测。封面为编辑示意图。

参考资料

功能、套餐与使用条件,以对应产品的最新资料为准。

内容更新于 2026-11-11