两版 AI 回答谁更好，LangSmith 把人工比较排成评审队列

两版摘要都读起来通顺，只看自动分数很难决定该上线哪一版。一位同事觉得新版遗漏少，另一位觉得旧版更简洁，讨论很容易停在几条聊天意见里。LangSmith 的成对标注队列，把这个选择变成逐题、逐项留下的人工比较。

它属于商业平台的评审工作流。需要先有实验输出，再由人阅读和判断；创建队列并不会替团队决定什么叫更好。

从两个实验，生成一组组并排回答

官方队列文档要求，从Datasets & Experiments打开数据集，恰好选择两个实验，再建立Pairwise Annotation Queue。平台配对两边的run，填入队列。

这适合比较基线版与候选版提示词，也可以比较两个模型配置。教学情境中，同一批产品问答分别生成两版回答，评审逐题查看，而不是拿不同问题的精彩片段相互比较。

成对队列处理的是run比较，不支持把整段多轮thread作为比较项。若要审核完整对话，应看单项标注队列的thread能力，不能因为两者都叫队列就混用。

创建时可以写说明和评审标准。打开一个比较项后，左侧Run A、右侧Run B；每个标准都可以选A更好、B更好或Equal，再提交进入下一组。

例如，可把“事实是否完整”和“是否足够简洁”分开。某版可能在第一项胜出、第二项落后。这些是编辑拟定的判断维度，不是平台自带的产品质量结论；标准仍需配合任务和样本制定。

评审也可以给任一run留言，或进入Details查看更多上下文。碰到没有足够信息的样本，可以先重新排队，避免为了完成数量随手选一边。

队列可配置需要多少位评审，以及暂时预约某个比较项的时间，减少多人同时处理同一项的冲突。完成状态帮助团队知道还有哪些材料没看完，而不只统计已经收集多少票。

平台总览将观测、评测与部署列为平台能力，具体计划和使用条件要另查。文档还明确：建立或填充成对队列默认不会改变原trace的保留期。因此，重要评审应安排在材料仍可用时完成，不能把加入队列当成永久归档。

这套流程带来的成果，是一份能追到具体回答和具体标准的人工比较记录。它适合团队需要解释“为什么选这一版”的时候；样本是否代表真实用户、评审是否理解任务，仍决定这些选择有多大参考价值。