开始前冻结验证条件
确定参与角色、业务问题、参考答案和数据快照,并记录产品与模型版本、部署环境、访问身份及数据源范围。涉及自然语言问题时,同时保留原始问法和业务含义,防止测试过程中悄悄改变目标。
先定义哪些错误会阻止上线,哪些属于可接受差异。例如金额的舍入差异可以事先约定,而越权泄露、期间错误和把空数据当事实,通常需要单独处置。具体阈值由项目双方确定。
不仅测试能够回答的问题
| 测试类别 | 观察内容 |
|---|---|
| 常规问题 | 正确性、单位、期间与出处 |
| 多轮追问 | 条件继承和明确变更 |
| 缺少数据 | 准确说明缺口并提供下一步 |
| 越权访问 | 不暴露未授权内容 |
| 资料过期 | 识别版本与时效限制 |
| 报告导出 | 文件完整、可打开、引用可核对 |
为每题保留一条验收记录
- 记录题号、问题、执行身份、输入范围和约定预期。
- 保留原始输出与来源证据,不只保留最终截图。
- 记录开始与完成时间;将查询、缓存和生成阶段区分开。
- 按通过、部分通过、未通过记录结论,说明差异和复测条件。
- 更改配置、口径或版本后,用同一组问题复测并保留前后记录。
从一次演示走向上线决定
短时现场演示适合检查交互与可核验性,不包含全部数据清洗、接入和安全评估工作。正式上线需要把试点发现的问题落实到责任人、范围和交付标准,并验证恢复、撤权和异常处置。
建议输出一份简短结论:哪些业务可使用、哪些情况仍需要人工复核、哪些能力不在本轮范围。通过记录比一个笼统的“效果很好”更有助于后续推广。
这篇指南对你有帮助吗?
