AgentOps:沿执行回放找到智能体花钱和出错的那一步

为什么值得关注
用执行图和带输入输出的分层跨度,把模型调用费用重新关联到角色和操作,便于区分是重试、工具还是生成阶段需要修改。
适合谁:已有可运行智能体,正在排查失败、等待时间或模型开销的 Python 应用开发者。
这次有哪些亮点
- 会话回放展示逐步执行图并关联模型费用
- session、agent、operation、workflow 装饰器组织追踪层级
- 装饰器支持输入输出、异常以及异步和生成器函数记录
使用前需要知道
托管路径需要 AgentOps API key,并把记录送往其仪表盘;输入输出记录范围需先确认;自托管需另部署完整应用,MIT 不等于托管服务或模型推理免费。
假设一个研究智能体交回了中文报告,却调用了许多次模型;另一次只返回错误,终端日志又散在不同函数里。对正在维护它的开发者,真正想找的是哪一步反复执行、哪次调用付了钱、错误发生前拿到了什么输入。AgentOps 把这些问题组织为会话回放,让最终答案背后的执行过程有迹可循。
官方 README提供逐步执行图、模型费用跟踪和多种框架集成。本文是资料解读,未接入应用运行。这里最有用的并非总费用数字,而是把费用放回它所属的角色和操作。
先看官方回放截图:左侧是一串 LLM 与工具事件,选择其中一个后,右侧出现该事件的模型、耗时、费用和提示内容。它展示的是“从整次执行找到一个具体事件”的关系,不能用图中的金额估算自己的预算。

官方演示截图,来自仓库 README 的 Session Replays;不是下文教学任务的输出。
为业务步骤保留名字
README 的快速接入在程序开始初始化客户端,并在结束时标记会话结果,记录可到 AgentOps 仪表盘查看。进一步的装饰器把结构分为 session、agent、operation 或 task,以及 workflow。这里的 span 可以理解为轨迹中的一个工作片段:给业务函数标上边界,回放里才容易知道哪段调用属于资料收集,哪段属于汇总。
官方嵌套示例让一个角色的主操作调用另一操作,再由外层会话包住它;装饰器支持输入输出、异常、异步和生成器函数。这种层级的价值,是保留一次任务内部的归属关系。只有一长串模型请求时,开发者知道花了钱;有清楚命名的操作后,才更容易追问为什么在这里花。
用一次失败的资料汇总检查接入
中文教学任务可以设为:“从三个指定网页摘录更新,整理成带链接的周报。”把读取网页和生成汇总分别标成操作,以整次周报为会话。若生成失败,先沿轨迹确认读取操作是否已返回内容,再看汇总调用的输入与异常;若看到多次相似调用,则检查是不是某一步的重试。这里是在说明排查顺序,不预设会出现哪一种故障,也不声称平台会自动修复原因。
我会优先把它接到已有多步骤原型上,先确认一条轨迹能否对应业务函数,再扩展监测范围。若应用只发一次模型请求且现有日志足够,额外层级未必有同等收益。下一步从 README 的装饰器示例与 Quick Start 开始。托管接入需要 API key,输入输出等记录会进入所配置的观测服务,接入前应确认记录范围;需要自托管时,仓库另给完整应用的部署入口。MIT 许可不代表云服务和模型调用没有费用。
以上为编辑整理,功能、许可与使用条件以官方说明为准。