同一批问题跑两版应用，Opik 把实验结果放到逐题比较里

改了一句提示词，几条新答案看起来更完整，但之前能回答的问题有没有退步？Opik 的实验流程，让同一批问题反复经过应用，并保存每次输出与评分，方便把改动前后放在一起看。

这里介绍的是官方评测流程，没有运行两版应用，也没有得到编辑自己的分数结论。

一次实验，需要三份明确材料

第一份是数据集，保存要测试的输入，以及任务需要的参考答案等字段。第二份是任务函数：接收一条数据，调用你已有的应用，返回一份输出字典。第三份是评分指标，决定比较什么。

Opik既有equals、contains这类确定规则，也有让模型判断幻觉或相关性的指标。二者不能互相替代：包含某个词容易检查，却不能证明整段答案有依据；模型裁判能读更复杂的要求，却也会产生调用成本与判断波动。

教学情境中，可以固定一组售后问题，分别让旧版和新版提示词运行。每次只改变准备比较的配置，并将提示词、模型和参数等写入experiment_config，之后才有条件解释差别来自哪里。

任务返回的字典需要匹配指标要求。例如数据集里叫user_question，而指标需要input，就要改字段或使用scoring_key_mapping映射。官方指出，参数不齐会报错，格式不匹配也可能导致不一致的评价结果。

这让“跑出一个分数”与“分数确实衡量了目标”有了区别。实际接入时，应先拿少量已知样本核对：裁判看到的问题、输出和参考材料，是否就是你希望它比较的内容。

当前Python流程还把实验trace记到数据集所属项目；文档已将evaluate里的旧project_name参数标为弃用。用项目组织数据时，应从创建数据集的归属开始安排。

评测完成后，Opik提供进入界面的链接，可以深入单条用例，也可并排比较多个实验。对于版本决策，平均指标适合看方向，具体失败项则用来判断：新版是否在某类重要问题上退步。

快速入门也提供track追踪函数与嵌套调用，便于从不理想输出继续查看应用执行。它不是评测必需的全部条件，但有助于连接“哪题变差”和“里面发生了什么”。

Opik代码采用Apache-2.0，可自托管；Cloud有自己的服务条件。它能交付的是有输入、输出、配置和评分依据的实验记录，样本代表性与标准是否合理，仍需要团队根据真实任务负责。