Trigpoint
Collections 書架 › 方法解說

classify-ai-incident

出錯之後,先分類再修

版本:v0.1.x · 文章版本 1.2

一個自動化步驟出了錯,第一個反應通常是怪那個本該攔下它的人。Parasuraman 與 Riley(1997)提出四個類別,把問題從「人和機器誰比較可靠」改成「依賴是否恰當」。四類各自獨立,描述人與自動化之間四種出錯的方式;它們沒有高低之分,誤用與棄用也各有成因。其中「濫用」一類,把問題轉回設計、設定或要求使用這個自動化的人。

本文介紹把一次出錯歸入四類、再讓類別指向修正方向的程序,以及執行它的 agent skill。產出是一份簡短的事故紀錄。

四個類別

類別意思常見跡象
誤用依賴超過自動化實際的可靠度檢查變少;照輸出做而不質疑;接受了錯的建議,或沒察覺漏掉的建議
棄用自動化已經夠可靠,人卻不用、忽略或關掉它,因為信任低於它應得的略過或靜音警報;早期結果不好就棄置工具;把工具做對的事用人手重做。誤報太多是常見原因
濫用設計、設定或要求使用自動化的人,不顧它對共事者的後果就把它放上去放在人無法監督的段或等級;警報門檻不顧事件實際發生的頻率;要人「看著它」;沒有接手的路;自動化自己改變等級
使用依賴與可靠度相符;事故並非出於人與自動化之間的錯配合理的檢查也攔不下的缺陷;相關的人依賴的程度大致符合紀錄所支持的

類別的措辭是本方法的摘要;原論文的逐字定義未經一手核對。

三點承擔了大部分的價值。其一,誤用與棄用成因各自獨立,可以在同一系統的不同情境同時出現;修一個可能讓另一個變糟,例如為了挽回信任而壓低誤報,可能導致過度依賴。其二,濫用的問題每次都要另外問;略過它,就會把設計上的失誤記到操作的人頭上。其三,針對人的用心程度的修正很少站得住:負荷下的注意力是結構上的限制,靠努力補不回來。

程序

1. 重述事實。用五個標題寫下事件:自動化做什麼、在哪一段、自行執行到什麼程度;它做了或沒做什麼;相關的人做了什麼、被告知或被安排要做什麼;問題怎樣被發現、由誰發現;代價與處理。標出未知的部分。這一步不貼任何標籤;敘述若在責怪某人,保留事實,把責怪放一邊。

「人」這一方,是選擇、設定、檢查或依賴這個自動化輸出的一方。在 AI 協作的工作裡,這一方常常是另一個代人行事的 AI:一個跑了批次工具的助理、一個放行結果的審查代理人。把它當作人這一方,寫明它向誰負責,照常分類。一個自動化步驟接著另一個時(例如 AI 工具交給審查代理人,再交給人),只分類其中一環:缺陷進入的那一步是自動化,其後第一個依賴它輸出的一方是人這一方。

2. 比較依賴與可靠度。紀錄顯示自動化當時實際的可靠度如何(過往表現、最近的改動、已知弱點)?相關的人依賴它到什麼程度(有沒有檢查、照做、忽略、推翻)?依賴高於可靠度,是誤用的候選;低於,是棄用的候選;大致相等,是使用的候選。

3. 每次都問濫用。不論第 2 步得出什麼,逐條問:自動化是否放在人能監督、能接手的段與等級?門檻、範圍與預設值,是否考慮過事件實際發生的頻率與誤報的代價?人是否有判斷何時可信的資訊(它的紀錄、過程、限制)?是否把「留意一下」當作防線?自動化是否在沒有人決定的情況下改變了自己的等級或範圍(Miller 與 Parasuraman 2007 區分由人調整的適配與由系統自行切換的適應)?要求或推行它的人,是否不必與它共事?

濫用指不顧共事的人,並非任何一個設錯的設定。一個以合理謹慎選定、事後證明不合事實的設定,屬於自動化本身的缺陷,即第 2 步的使用候選;除非人在已有理由懷疑之後仍繼續依賴它,那是誤用。

指向濫用的答案,只有在這宗事故取決於它時才算數:缺了的資訊、門檻或接手路徑,本來能防止或揭露這次事故。事故不取決於它的缺口仍值得修;另列為一項修正,不當作標籤的證據。

4. 標類別。一個主類別:它的修正最能直接防止這次事故。第二類別只在有獨立證據時才加。每個類別附一句證據,指回第 1 步的事實。「事實不足」是合法的標籤,寫明哪一項事實可以定案。還沒造成損害的缺口,標它會容許的關係,再加「險失」。信心分高、中、低:事實涵蓋依賴與設定兩面、主類別明顯最強為高;一項關鍵事實未知,或第二類別幾乎一樣強,為中;敘述簡短或片面為低。

5. 修正指向機制。

類別修正方向
誤用讓人看見步驟的紀錄與限制;排定抽查(見 calibrate-ai-checks);考慮降低該段的等級
棄用讓誤報率對得上事件實際發生的頻率;讓人看見步驟真實的可靠度;先修好信任,再決定是否棄置一件可用的工具
濫用重新設計分工:段、等級、門檻、接手路徑(見 allocate-ai-work);把切換等級的開關交回人
使用修自動化本身的缺陷;依賴可以維持

「提醒大家小心」「訓練注意力」單獨都不算修正。修機制而不修人,沿用 Reason(2000)所說的系統取向;把它定為四類事故紀錄裡固定的修正步驟,出處是 Trigpoint(2026)。研究上的依據是濫用把原因放在上游,而注意力類的失誤不會因練習消失,也不會因叮囑驗證而可靠地消除(Parasuraman 與 Manzey 2010;後一點有爭議)。

內建的更正

我們用六宗新寫的練習事故,與六宗本工作室早已歸類的事故試跑,改了兩輪。

第一版預設「人」是人類操作者。我們自家的事故中,有幾宗依賴工具的一方其實是 AI 助理,例如一個跑了批次工具的助理。第一輪修訂寫明 AI 也可以是人這一方。

第一輪修訂之後,濫用出現在 12 宗中的 10 宗:網撒得太寬。第二輪把濫用收窄到「不顧監督或依賴它的人」所選定的設定;合理謹慎下選錯的設定,歸自動化本身的缺陷。

目前的成效

測試規模小,都不構成準確率。

六宗練習事故:三輪都全部落在答案範圍內;其中一宗需要兩個標籤,三輪都同時給出。答案在第一次執行前已經寫好,公開在 GitHub。

六宗本工作室自己的事故:在這件 skill 存在之前,我們已用同樣四類為它們歸類。重寫成不含原標籤的中性敘述後,交給 skill 盲分。三輪各有 3 宗與原歸類一致。

兩宗每輪都一致。兩宗每輪都不一致:skill 判定依賴大致符合紀錄、問題出在自動化本身,原標籤記的卻是後果(工具失敗後被擱置)或風險(誤報可能侵蝕信任)。誤報那一宗,事後核對紀錄:每次誤報都照樣排進優先清單,兩日內修好,原標籤預期的信任下降沒有發生,skill 的讀法與紀錄相符。另一宗覆核後,我們認為 skill 的讀法至少與原標籤一樣站得住。一宗在第一輪修訂寫明 AI 也可以是依賴方之後轉為一致。一宗隨設定相關的措辭,在濫用與使用之間翻轉:「不經心選定的設定」與「不顧人選定的設定」之間的界線,是本方法最不穩定的部分。兩輪修訂沒有提高一致的宗數;修訂的理由都是執行者回報的指令缺陷。

測試的限制:執行者每次是一個全新的 AI 助理,只讀 skill 與事故敘述,不准搜尋或提問,也沒有看過答案或前幾輪的結果。練習事故與答案、自家事故的中性敘述,都由協調測試的 AI 助理撰寫,並由它負責評分,兩者是同一個模型;這不是盲評,也沒有事先登記。每輪分類 12 宗,約 7.5 至 9 分鐘,連讀 skill 在內約 13 萬至 14 萬個 tokens。尚未測試:在各 agent 主機上的安裝與發現、他人寫的事故與長篇事後檢討、兩位獨立審查者分類同一事故的一致程度,以及分類對團隊事後實際改動了什麼的影響。

第 1 步關於鏈式的規則,與第 3 步關於何者算作濫用證據的規則,是在這些測試之後加入的。測試沒有針對它們重跑;練習事故的答案按新規則重讀過,沒有改變。

證據級目前只到自身實測:一個單人工作室用過,記錄在案。

適用時機

適用於一個 AI 協作或自動化步驟造成了不良結果、險失,或長期被忽略;寫一份涉及自動化的事故紀錄或事後檢討;決定出錯之後該改自動化、檢查,還是設定。不適用於評一個人的表現(本方法分類的對象是人與自動化的關係)、除錯模型或程式本身(先分類;結果若是使用,修正屬工程工作),以及一次處理多宗事故(一宗一份紀錄,之後再看跨紀錄的模式)。

取得 skill

skill、研究節點索引與練習事故放在 GitHub:github.com/trigpoint-pub/agent-skills(skills/classify-ai-incident/);練習的答案在 docs/classify-ai-incident/VALIDATION.md。同一組另有 allocate-ai-work(交出之前)與 calibrate-ai-checks(運行之中);三件可各自安裝。

skill 以 MIT 授權發布,repo 內的文章快照以 CC BY 4.0 授權。兩者都可以商用,包括顧問與培訓者用在客戶工作上;條件是保留授權聲明,並註明出處。

參考文獻
  1. Parasuraman 與 Riley(1997)論使用、誤用、棄用、濫用。
  2. Miller 與 Parasuraman(2007)論由人調整的適配與由系統自行切換的適應。
  3. Parasuraman 與 Manzey(2010)論自滿與偏誤。
  4. Reason(2000)論個人取向與系統取向。

完整書目與核查方式見 GitHub 上的 docs/classify-ai-incident/SOURCES.md。