Trigpoint

本页由繁体中文版自动转换

Collections 书架 › 方法解说

classify-ai-incident

出错之后,先分类再修

版本:v0.1.x · 文章版本 1.2

一个自动化步骤出了错,第一个反应通常是怪那个本该拦下它的人。Parasuraman 与 Riley(1997)提出四个类别,把问题从「人和机器谁比较可靠」改成「依赖是否恰当」。四类各自独立,描述人与自动化之间四种出错的方式;它们没有高低之分,误用与弃用也各有成因。其中「滥用」一类,把问题转回设计、设定或要求使用这个自动化的人。

本文介绍把一次出错归入四类、再让类别指向修正方向的程序,以及执行它的 agent skill。产出是一份简短的事故纪录。

四个类别

类别意思常见迹象
误用依赖超过自动化实际的可靠度检查变少;照输出做而不质疑;接受了错的建议,或没察觉漏掉的建议
弃用自动化已经够可靠,人却不用、忽略或关掉它,因为信任低于它应得的略过或静音警报;早期结果不好就弃置工具;把工具做对的事用人手重做。误报太多是常见原因
滥用设计、设定或要求使用自动化的人,不顾它对共事者的后果就把它放上去放在人无法监督的段或等级;警报门槛不顾事件实际发生的频率;要人「看着它」;没有接手的路;自动化自己改变等级
使用依赖与可靠度相符;事故并非出于人与自动化之间的错配合理的检查也拦不下的缺陷;相关的人依赖的程度大致符合纪录所支持的

类别的措辞是本方法的摘要;原论文的逐字定义未经一手核对。

三点承担了大部分的价值。其一,误用与弃用成因各自独立,可以在同一系统的不同情境同时出现;修一个可能让另一个变糟,例如为了挽回信任而压低误报,可能导致过度依赖。其二,滥用的问题每次都要另外问;略过它,就会把设计上的失误记到操作的人头上。其三,针对人的用心程度的修正很少站得住:负荷下的注意力是结构上的限制,靠努力补不回来。

程序

1. 重述事实。用五个标题写下事件:自动化做什么、在哪一段、自行执行到什么程度;它做了或没做什么;相关的人做了什么、被告知或被安排要做什么;问题怎样被发现、由谁发现;代价与处理。标出未知的部分。这一步不贴任何标签;叙述若在责怪某人,保留事实,把责怪放一边。

「人」这一方,是选择、设定、检查或依赖这个自动化输出的一方。在 AI 协作的工作里,这一方常常是另一个代人行事的 AI:一个跑了批次工具的助理、一个放行结果的审查代理人。把它当作人这一方,写明它向谁负责,照常分类。一个自动化步骤接着另一个时(例如 AI 工具交给审查代理人,再交给人),只分类其中一环:缺陷进入的那一步是自动化,其后第一个依赖它输出的一方是人这一方。

2. 比较依赖与可靠度。纪录显示自动化当时实际的可靠度如何(过往表现、最近的改动、已知弱点)?相关的人依赖它到什么程度(有没有检查、照做、忽略、推翻)?依赖高于可靠度,是误用的候选;低于,是弃用的候选;大致相等,是使用的候选。

3. 每次都问滥用。不论第 2 步得出什么,逐条问:自动化是否放在人能监督、能接手的段与等级?门槛、范围与预设值,是否考虑过事件实际发生的频率与误报的代价?人是否有判断何时可信的资讯(它的纪录、过程、限制)?是否把「留意一下」当作防线?自动化是否在没有人决定的情况下改变了自己的等级或范围(Miller 与 Parasuraman 2007 区分由人调整的适配与由系统自行切换的适应)?要求或推行它的人,是否不必与它共事?

滥用指不顾共事的人,并非任何一个设错的设定。一个以合理谨慎选定、事后证明不合事实的设定,属于自动化本身的缺陷,即第 2 步的使用候选;除非人在已有理由怀疑之后仍继续依赖它,那是误用。

指向滥用的答案,只有在这宗事故取决于它时才算数:缺了的资讯、门槛或接手路径,本来能防止或揭露这次事故。事故不取决于它的缺口仍值得修;另列为一项修正,不当作标签的证据。

4. 标类别。一个主类别:它的修正最能直接防止这次事故。第二类别只在有独立证据时才加。每个类别附一句证据,指回第 1 步的事实。「事实不足」是合法的标签,写明哪一项事实可以定案。还没造成损害的缺口,标它会容许的关系,再加「险失」。信心分高、中、低:事实涵盖依赖与设定两面、主类别明显最强为高;一项关键事实未知,或第二类别几乎一样强,为中;叙述简短或片面为低。

5. 修正指向机制。

类别修正方向
误用让人看见步骤的纪录与限制;排定抽查(见 calibrate-ai-checks);考虑降低该段的等级
弃用让误报率对得上事件实际发生的频率;让人看见步骤真实的可靠度;先修好信任,再决定是否弃置一件可用的工具
滥用重新设计分工:段、等级、门槛、接手路径(见 allocate-ai-work);把切换等级的开关交回人
使用修自动化本身的缺陷;依赖可以维持

「提醒大家小心」「训练注意力」单独都不算修正。修机制而不修人,沿用 Reason(2000)所说的系统取向;把它定为四类事故纪录里固定的修正步骤,出处是 Trigpoint(2026)。研究上的依据是滥用把原因放在上游,而注意力类的失误不会因练习消失,也不会因叮嘱验证而可靠地消除(Parasuraman 与 Manzey 2010;后一点有争议)。

内建的更正

我们用六宗新写的练习事故,与六宗本工作室早已归类的事故试跑,改了两轮。

第一版预设「人」是人类操作者。我们自家的事故中,有几宗依赖工具的一方其实是 AI 助理,例如一个跑了批次工具的助理。第一轮修订写明 AI 也可以是人这一方。

第一轮修订之后,滥用出现在 12 宗中的 10 宗:网撒得太宽。第二轮把滥用收窄到「不顾监督或依赖它的人」所选定的设定;合理谨慎下选错的设定,归自动化本身的缺陷。

目前的成效

测试规模小,都不构成准确率。

六宗练习事故:三轮都全部落在答案范围内;其中一宗需要两个标签,三轮都同时给出。答案在第一次执行前已经写好,公开在 GitHub。

六宗本工作室自己的事故:在这件 skill 存在之前,我们已用同样四类为它们归类。重写成不含原标签的中性叙述后,交给 skill 盲分。三轮各有 3 宗与原归类一致。

两宗每轮都一致。两宗每轮都不一致:skill 判定依赖大致符合纪录、问题出在自动化本身,原标签记的却是后果(工具失败后被搁置)或风险(误报可能侵蚀信任)。误报那一宗,事后核对纪录:每次误报都照样排进优先清单,两日内修好,原标签预期的信任下降没有发生,skill 的读法与纪录相符。另一宗覆核后,我们认为 skill 的读法至少与原标签一样站得住。一宗在第一轮修订写明 AI 也可以是依赖方之后转为一致。一宗随设定相关的措辞,在滥用与使用之间翻转:「不经心选定的设定」与「不顾人选定的设定」之间的界线,是本方法最不稳定的部分。两轮修订没有提高一致的宗数;修订的理由都是执行者回报的指令缺陷。

测试的限制:执行者每次是一个全新的 AI 助理,只读 skill 与事故叙述,不准搜寻或提问,也没有看过答案或前几轮的结果。练习事故与答案、自家事故的中性叙述,都由协调测试的 AI 助理撰写,并由它负责评分,两者是同一个模型;这不是盲评,也没有事先登记。每轮分类 12 宗,约 7.5 至 9 分钟,连读 skill 在内约 13 万至 14 万个 tokens。尚未测试:在各 agent 主机上的安装与发现、他人写的事故与长篇事后检讨、两位独立审查者分类同一事故的一致程度,以及分类对团队事后实际改动了什么的影响。

第 1 步关于链式的规则,与第 3 步关于何者算作滥用证据的规则,是在这些测试之后加入的。测试没有针对它们重跑;练习事故的答案按新规则重读过,没有改变。

证据级目前只到自身实测:一个单人工作室用过,记录在案。

适用时机

适用于一个 AI 协作或自动化步骤造成了不良结果、险失,或长期被忽略;写一份涉及自动化的事故纪录或事后检讨;决定出错之后该改自动化、检查,还是设定。不适用于评一个人的表现(本方法分类的对象是人与自动化的关系)、除错模型或程式本身(先分类;结果若是使用,修正属工程工作),以及一次处理多宗事故(一宗一份纪录,之后再看跨纪录的模式)。

取得 skill

skill、研究节点索引与练习事故放在 GitHub:github.com/trigpoint-pub/agent-skills(skills/classify-ai-incident/);练习的答案在 docs/classify-ai-incident/VALIDATION.md。同一组另有 allocate-ai-work(交出之前)与 calibrate-ai-checks(运行之中);三件可各自安装。

skill 以 MIT 授权发布,repo 内的文章快照以 CC BY 4.0 授权。两者都可以商用,包括顾问与培训者用在客户工作上;条件是保留授权声明,并注明出处。

参考文献
  1. Parasuraman 与 Riley(1997)论使用、误用、弃用、滥用。
  2. Miller 与 Parasuraman(2007)论由人调整的适配与由系统自行切换的适应。
  3. Parasuraman 与 Manzey(2010)论自满与偏误。
  4. Reason(2000)论个人取向与系统取向。

完整书目与核查方式见 GitHub 上的 docs/classify-ai-incident/SOURCES.md。