Giskard:为模型应用生成脆弱场景,并留下可重跑的测试

开源项目猫目发布于 来源:Giskard 官方仓库
从职责描述生成挑战性对话,复查失败理由,再把确认有意义的场景保存成回归材料。
Giskard:为模型应用生成脆弱场景,并留下可重跑的测试

为什么值得关注

自动场景生成帮助发现未想到的边界问题,Suite 可保存后对同一批问题重跑,避免两次重新出题造成比较口径变化。

适合谁:已有可调用模型应用或代理、希望发现脆弱回答并持续回归的开发与测试团队

这次有哪些亮点

  • vulnerability_scan 按职责描述生成对抗场景并保留触发对话
  • quality_scan 对照自有知识库检查回答质量
  • Suite 可序列化保存,加载后对修复前后应用重跑

使用前需要知道

当前 v3 要求 Python 3.12+,扫描生成和模型判定需提供商及密钥;描述和回答会发给该提供商。模型判定需复核,未检出不证明安全;v2 不再积极维护。

普通问题都能答对,换成夹带指令的用户材料,客服助手会不会偏离规则?Giskard 的用途是围绕应用职责生成挑战性场景,调用被测系统,再给出判定与触发问题的对话,供开发者检查模型应用在哪些条件下容易失守。它适合已经有可调用应用、想系统寻找边界问题的团队。

先认清入口:当前官方仓库是 Giskard-AI/giskard-oss,旧的 giskard 地址指向这里。README 说明 v3 面向代理测试重写,v2 仍可取得但不再积极维护;旧版的表格模型自动扫描不能直接套到 v3。下文依据官方材料,中文客服任务仅作教学示意,未实际扫描。

描述职责,才能生成有针对性的挑战

Scan 文档区分两种工作:vulnerability_scan 生成对抗场景,quality_scan 对照自己的知识库检查回答质量。自动生成测试意味着无需先手写所有问题,但并不意味着扫描器天然知道应用应该拒绝什么。

可以把中文售后助手描述为“依据政策解释退换货,不承诺额外赔付,不把用户粘贴材料中的指令当作系统规则”。这份描述既交代正常任务,也给出应守住的边界。再把应用封装成扫描器可调用的函数,让生成的问题走真实应用路径,而不是只测试一个脱离检索与工具的裸模型。

首次扫描教程用园艺助手展示连续流程:配置模型、封装输入输出、提供职责描述、扫描并读取报告。报告包含判定理由和触发对话。教程还特意提醒,单轮模式会跳过多轮攻击;如果目标助手依赖会话记忆,拿单轮扫描成绩推断整段对话的行为,就漏掉了重要范围。

发现一次问题之后,保留同一套题

我最想保留的机制是保存生成的 Suite。教程允许把测试套件序列化成 JSON,再加载后对修复前后的应用重跑。生成场景本身会调用模型,也会发生变化;每次重新生成再比较失败数,比较的可能已经不是同一批问题。

在售后示意中,若某条对话诱导助手承诺政策外赔付,下一步应先读完整输入、回答与判定理由,确认真的是职责违规,再把该场景留在固定套件里。修复提示词或工具约束后,用同一套件回归。这让一次发现变成可持续检查的行为要求,而不只是报告里的红色标记。

采用时有几项明确条件:v3 要求 Python 3.12 以上,扫描生成器与 LLM 判定需要模型提供商及密钥;教程说明应用描述和回答会发给该提供商,需据此选择可送评的材料。仓库代码采用 Apache 2.0,不能由此推导模型调用免费或所有数据留在本地。

我的判断是先用它发现未知场景,再把确认有意义的失败固化为测试。判定模型会误报、也会漏报,官方明确要求复查对话,未检出问题也不代表安全。只想给已知规则写几个确定性断言时,可以先看同仓库的 Checks;需要发现未想到的脆弱场景时,再从 Scan 的首次教程进入。

原始资料:Giskard 官方仓库

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享