Trigpoint

本页由繁体中文版自动转换

Collections 书架 › 方法解说

calibrate-ai-checks

抽查跟着纪录走

版本:v0.1.x · 文章版本 1.2

一个 AI 步骤可靠了一段时间,人就会越看越少,直到一个没有人在找的错误溜过去。另一个方向同样常见:一个步骤早期错得太多、误报太多,人便不再信它,即使它后来改好了。两种失误方向相反,成因各自独立(Parasuraman 与 Riley 1997)。目标因此不在于多信或少信:信任要对得上步骤真实的可靠度,也要分得出它在哪些情况可靠、哪些情况不可靠(Lee 与 See 2004 称为校准与解析度)。

一直盯着并不能解决这个问题:持续监看时,察觉能力在短时间内就会下滑(Mackworth 1948)。叮嘱「要验证」也不可靠(Parasuraman 与 Manzey 2010;此点有争议)。比较可行的是一种排了时间、份量小、主动推到人面前,而且永不降到零的抽查。

本文介绍定下这种抽查的程序,以及执行它的 agent skill。产出是一份检查计划与一份漏网纪录。

程序

1. 分开机械检查与判断检查。先为这个步骤写一份简短的缺陷清单:怎样才算错。没有缺陷定义的检查,只是瞄一眼。清单上能由程式、规则或格式验证的项目(格式、必填栏、数量、档案在不在、连结通不通、数字与来源相符)列为机械检查,每件都跑,结果报给人看;它们不算人的检查。内容对不对、合不合用、有没有说到该说的,列为判断检查,由人抽查。

2. 定出错代价的等级。一件没被发现的缺陷会停在哪里:A 级,留在流程内部,撤回成本低;B 级,在有人察觉之前流到下一步或下一个人,或要花真实的时间撤回;C 级,到达流程以外的人、涉及金钱或承诺,或无法撤回。C 级而且自行执行的步骤不在本方法范围内,应先回到分工(见 allocate-ai-work);C 级但只替人备料的步骤,每件都要判断检查。

3. 定起始抽查率。以下是 Trigpoint(2026)的工作预设值,不是研究文献给出的数字;调整时写明理由。

纪录A 级B 级C 级
已检查不足 20 件每件每件每件
最近 20 件中有缺陷每件每件每件
已检查 20 件以上,最近 20 件无缺陷可降至五件抽一件可降至三件抽一件每件

「可降至」的意思是:负责人在覆核日可以决定降,步骤不会自己降。下限:A 级不低于十件抽一件,B 级不低于四件抽一件,使用期间每周至少检查一件;C 级没有低于每件的下限。抽查率慢慢滑到零,正是本方法要防的失误。

计划上要写明纪录能证明什么。检查了 n 件都没有缺陷,真实缺陷率仍可能高达约 3/n(95% 上界,即「三之法则」):20 件无误,仍容得下约 15% 的缺陷率;60 件,约 5%。从未检查过,或检查了却没有记下件数,就写「无纪录」,当作零件处理。

4. 算工作量。每周件数 × 抽查比例 × 每次检查的分钟数,再问负责人这个步骤可以分到多少检查时间。超出时依序考虑:把判断项目改成机械检查;把大件拆成单一主张或单一段落再抽;用 allocate-ai-work 降低件数或步骤的等级。把检查交给另一个 AI 审查者,只是把工作搬走,人仍要抽查这个审查者。最后才由负责人明确决定接受较低的抽查率,甚至低于下限,并记为已接受的风险:写下抽查率、它留下的上界,以及覆核日期。永不为了迁就时间而悄悄降低抽查率。

5. 让抽查真的发生。随机抽,不挑容易检查或看起来怪的;按时把要抽的件推到检查者面前,例如一份每周清单;每次只看第 1 步列出的判断项目。检查者可以是 AI 审查者,但负责人要抽查它的裁定,工作预设为十件抽一件、每周至少一件。检查一件,是打开这一件或它的来源;人看着审查者的摘要逐件接受或退回,不算检查过,这些裁定也不能取代对审查者裁定的抽查。

6. 记漏网。每个缺陷,不论怎样发现,都记一笔:发现日期、哪一件、错在哪里、由谁或什么发现、哪一项检查本该拦下、流到多远、代价、改了什么。抽查发现的缺陷,表示检查有效:退回逐件,直到连续 20 件无误。机械检查发现的,修自动化或它的输入,判断抽查率不变。下游专为它设计的安全网拦下的(例如改派、月底对帐),记入缺陷纪录,不算漏网。漏网指没有任何机制设计来拦它,却在下游或由外部发现的缺陷:退回逐件,改检查方式让它下次会被拦下;同类漏网再现时,回头检讨步骤的等级。漏网表示抽查率或检查方式错了,不表示人粗心。

7. 重新校准,并让纪录看得见。有缺陷或漏网时,立刻提高抽查率;这是安全的方向。降低抽查率由负责人在固定覆核日决定,桌上要有纪录与它的上界。覆核日可先定为每月一次,每次漏网后另加一次。检查纪录与漏网纪录放在依赖这个步骤的人看得到的地方:信任要跟得上表现,人得先看得到表现。

内建的更正

我们用自家的两个检查步骤与两个为测试而写的步骤试跑,改了三轮。

第一版收集了「每次检查要几分钟」,却没有用上。其中一份计划因此推出每周约 40 小时的检查量。修订后加入第 4 步:先算工作量,超出时依序处理,最后才是负责人明确接受的风险。

第三轮改了漏网的定义。之前,下游例行拦下的缺陷都算漏网;一个大量、每天都有改派的步骤,每次改派都把它退回逐件,永远到不了抽样。现在,专为它设计的下游安全网拦下的缺陷只记入缺陷纪录。

还有一项说法上的修正。研究指出,经历过自动化失误,可能降低自满(Parasuraman 与 Manzey 2010);他们没有把抽查列为对策。本方法把抽查当作有意搜集失误经验的做法,这是 Trigpoint(2026)的推论。

目前的成效

测试规模小,都不构成准确率。

第一组,本工作室两个已在运作的检查步骤:核收外部 AI 代理人交回的工作件,以及采用子代理人在工作阶段中搜集的事实。我们拿一个月的实际纪录对照。两个步骤都没有书面抽查率,也都没有记下检查了几件。

因为没有计数,多数类别只能写「无纪录」,会流到下一步或对外的类别都落在每件检查。工作量一步把负责人的检查份额估为每周约半小时至一小时。

第二组,两个为测试而写的步骤。供应商发票抽取属 C 级(错的总额会被付出),每件检查,落在假设的时间预算内。客服工单标签属 B 级,出现两个缺陷后退回逐件,超出预算五倍;计划逐项走过工作量的选项,把是否改由 AI 审查者一事交给负责人决定,并在负责人决定之前,不把较低的抽查率当作已接受。这份计划就是 GitHub 上的示范计划。

测试的限制:执行者每次是一个全新的 AI 助理,只读 skill 与描述,不准搜寻或提问;需要问负责人的地方,执行者自行假设并记下假设。描述由协调测试的 AI 助理撰写,并由它负责比对,两者是同一个模型;这不是盲评,也没有事先登记。共四轮,每轮写四份计划,约 8 至 14 分钟,连读 skill 在内约 13 万至 17.5 万个 tokens。尚未测试:照计划执行后是否拦下更多缺陷、是否改变信任;漏网纪录尚未经过一段时间的实际运作;他人描述的步骤;同一步骤两次执行之间的一致程度。

第 5 步关于怎样才算检查过一件的规则,是在这些测试之后加入的,测试没有针对它重跑。

证据级目前只到自身实测:一个单人工作室用过,记录在案。

适用时机

适用于 AI 步骤起草、抽取、分类或自行执行,而有人应该审查的场合;审查已经变成点一下就过、没有人知道实际检查了多少;或一个 AI 错误溜过之后,要让抽查率有所反应。不适用于负责决定或执行不可撤回动作的步骤(这些不应交给抽样:逐件由人审,或重新设计,见 allocate-ai-work)、有法定抽查率的受规管审查,以及自动化上线前的测试。

取得 skill

skill、研究节点索引与示范计划放在 GitHub:github.com/trigpoint-pub/agent-skills(skills/calibrate-ai-checks/)。同一组另有 allocate-ai-work(交出之前)与 classify-ai-incident(出错之后);三件可各自安装。

skill 以 MIT 授权发布,repo 内的文章快照以 CC BY 4.0 授权。两者都可以商用,包括顾问与培训者用在客户工作上;条件是保留授权声明,并注明出处。

参考文献
  1. Lee 与 See(2004)论信任的校准与解析度。
  2. Parasuraman 与 Manzey(2010)论自满与偏误。
  3. Mackworth(1948)论警觉递减。
  4. Parasuraman 与 Riley(1997)论误用与弃用。
  5. 「三之法则」为零事件时的标准二项分布上界。

完整书目与核查方式见 GitHub 上的 docs/calibrate-ai-checks/SOURCES.md。