一次失败回答别只留在日志里，Langfuse 可以把它变成下一轮测试题

用户指出一个错误回答，团队修完提示词以后，怎样知道它下次还会不会错？如果只在聊天记录里记一句“这个例子有问题”，后续版本很容易把它忘掉。Langfuse 的数据集功能，把一次运行中的输入留成了可以重复检查的测试项。

它值得从这条连接认识：平台总览把线上追踪、反馈和离线实验串起来，但每一步仍有自己的材料与判断。

失败现场，成为测试项的来源

官方数据集说明建议，从生产中表现不符合预期的trace挑选内容，再由专家补上expected output。界面可以在某个observation上选择Add to dataset；SDK也能记录source_trace_id与source_observation_id。

这样，测试题不仅有输入，还能回到当时哪次运行、哪一步出了问题。若是检索材料不对，就应保留那层输入；若是最终组织答案出错，测试对象又可能不同。不能把整段日志不加选择地塞进一项输入，再期待评价自然有意义。

一个dataset item包含input与可选expected output。文档的基本示例用hello world对象说明字段结构，实际应用要自己定义什么算合格。

教学情境中，客服漏掉了某项退款条件，可以保留原问题，再写清新答案应包含的条件。旧回答作为失败材料有价值，却不应直接复制成标准答案，否则新版本重复同样错误也可能被奖励。

批量添加时，Langfuse允许字段映射、JSON路径提取或组合对象。配置后先预览，能看清观察记录的哪部分变成了测试输入。部分条目不符schema时，批操作还可能部分成功，需要查看错误记录，而不是把一次提交视为全部导入完成。

条目新增、修改、删除或归档会产生按时间戳记录的数据集版本。实验可以指定某一时刻的数据，避免一边修改提示词，一边悄悄换掉测试题。

有一处边界值得注意：版本跟踪的是数据项，schema改变不会产生新的条目版本。想复查一轮实验，还应记录采用的评价规则与结构约定，不只保存一个数据集名。

这不意味着有了十个失败例子就覆盖全部用户。它先解决一个更具体的问题：已经看见的错误，能不能成为下一次改动必须面对的材料。

Langfuse核心采用MIT，ee等目录另受企业许可；Cloud、模型裁判与存储依所选配置使用。这条流程最终留下的是一组带来源和版本的题目，让“这次修好了”有机会变成可重复核对的判断。