第 28 章　持续改进法律工作流：评测、版本与经验沉淀

一次任务完成得顺利，只能证明那次材料、那套提示与那个环境下得到了一份可用候选结果。换一份附件位置不同的合同，更新模型或连接器，甚至只改变文件格式，都可能暴露新的问题。持续改进要做的，是把“这次哪里好、哪里错”变成下一次仍能使用的评测、规则和记录。

本章接续第24章的采购合同初审制作，围绕使用、验证与改进展开。下文给出的是教学评测方法和示例字段，不把任何示例分数写成实际测得结果，也不保证自动优化只会变好。

建立少而有差异的样例集

先从熟悉的材料中选三到五个教学样例，材料使用范围需合适。每个样例只增加一种主要困难，便于判断错误出处。例如：完整正文与附件；附件藏在文末；付款起算条件相互冲突；扫描页中关键金额不清；材料实际是服务合同，按规则应停止套用货物采购流程。

评测前由人写预期，不在模型输出后再倒推标准。预期可以是“应保留验收、发票、期限三个付款条件”，而非要求模型使用某一句固定表述。对于商业合理性或法律适用存在判断空间的事项，预期应是“列出待确认问题并保留出处”，不要伪装成只有一个标准答案。

请为采购合同初审流程建立评测计划，先不运行合同任务。
材料编号：[S01—S05]；采用规则：[名称和版本]
每个样例写：材料差异、人工预期、关键出处、严重失败条件。
检查维度：完整读取、定位准确、条件保留、缺失与未约定区分、
汇总与详细意见一致、范围外任务停止、输出可回查。
不要把测试样例的主体、金额、条号写入通用规则。

样例应包含不该触发的情况。一个总能生成漂亮合同清单的 Skill，如果面对服务合同仍强行套用，也算失败。边界正确是质量的一部分，不能只奖励产出更多文字。

记录基线，分开看质量与成本

“基线”是改动之前保留的对照结果。记录规则版本、提示词、材料版本、模型与工具配置、运行时间和输出位置。无法获得的产品内部版本就写未知，不要编造。长任务还应记录人工检查时间，因为自动执行快并不等于总成本低。

可以采用“通过、部分通过、失败、无法评估”四种结果，再附具体偏差。对虚构出处、错用当事人材料、未经授权外发等严重问题设置单独失败项，不能让格式整齐或速度快把它们抵消。一般排版问题和关键金额错误也不应同权计算。

同一配置必要时重复运行，观察是否偶发。重复次数按风险与资源决定，不把少量样例包装成统计证明。模型输出有变化时，保留原结果，记录变化落在哪些检查点，不能挑一份最漂亮的当作全部表现。

图28-1：出处原图11.3-图02。图示为合同审查Skill检查，不代表本章采购初审评测已经完成。

每次改一个可解释的问题

发现失败后，先区分原因：材料不可读、任务没说清、规则缺少处理、工具未取得文件，还是模型没有遵守已有要求。不同原因需要不同修订。材料分辨率差，就先补清晰材料；不能为弥补一次OCR失败，在规则中固定一个猜测金额。

如果详细意见正确、汇总却误写为“未约定”，可以增加汇总前的回查步骤。若根本没读取附件，则应修读取与覆盖检查。每次写明问题、出处、拟改规则及预期影响，先提出最小改动，再比较结果。

请分析评测样例S03的失败原因，不先重写整份Skill。
输入：原规则v1、首次输出、人工预期与原文定位。
输出：错误发生步骤、可能原因、最小修订建议、受影响检查点。
修订不得写入S03专有事实。修改后先复测S03，再回归S01、S02、S04、S05。
分别报告已修复、新出现的问题和仍无法评估的项目。

“回归”就是再检查以前通过的样例，确认改动没有破坏旧能力。只重跑失败项，会漏掉新的副作用。发现新错误时先保存比较记录，必要时继续采用旧稳定版，而不是因为新稿编号更大就替换。

版本不是越新越应采用

将候选版、采用版和停用版分开。版本记录至少包含变更日期、修改人、变更原因、测试范围、未测部分和采用决定。规则文件、样例、输出与评测记录用相互对应的编号，不把多个不同内容都叫“最终版”。

可以用简单的版本说明：“v1.1候选：增加汇总回查；已在S01—S05复测；扫描材料仍待补清晰版本；未批准团队采用。”这是说明格式，里面的“已复测”只有真实完成时才能填写。文件保存完成、测试完成和正式采用是三个状态。

共享前把样例中的客户专属事实移出通用规则，并核对团队是否有权使用配套材料。共享规则不意味着共享全部案卷。团队入口应指向明确采用版本，保留前一采用版与恢复办法；成员自行试改的版本先进入候选区，不能悄悄替换所有人的工作入口。

经验、偏好与知识分开沉淀

“以后意见清单都要有出处位置”是可复用偏好；“某客户坚持30日付款”是特定任务事实；“某法条当前有效”是需要维护的法律知识。这三类内容不宜混在长期记忆中。前者经确认可以保存，后两者应带范围、出处和时间，避免跨案件误用。

法律知识需要定期复核，经验也需要反例。每当发现新材料组织方式或新失败模式，把它加入样例集，并写清为什么值得加入。不要把所有历史对话无限堆入上下文，先保留少量有效入口与可回查依据。

最后保留人的独立检查：定期先自行分析，再看模型意见，比较遗漏与分歧。评测不是为了证明工具可靠到无需思考，而是帮助负责人知道哪些工作可以复用、哪些条件下需要暂停，以及下一次最值得修正的环节。

本章完成后应得到样例集、人工预期、基线输出、评测账本、变更对照、回归结果和采用版本说明。使用附录C的Skill与流程评测表持续记录，再按第27章核对具体交付。没有实际运行时就把结果栏留为待测，真实、可追溯的空白比虚构的满分更有用。