calibrate-ai-checks
抽查跟著紀錄走
一個 AI 步驟可靠了一段時間,人就會越看越少,直到一個沒有人在找的錯誤溜過去。另一個方向同樣常見:一個步驟早期錯得太多、誤報太多,人便不再信它,即使它後來改好了。兩種失誤方向相反,成因各自獨立(Parasuraman 與 Riley 1997)。目標因此不在於多信或少信:信任要對得上步驟真實的可靠度,也要分得出它在哪些情況可靠、哪些情況不可靠(Lee 與 See 2004 稱為校準與解析度)。
一直盯著並不能解決這個問題:持續監看時,察覺能力在短時間內就會下滑(Mackworth 1948)。叮囑「要驗證」也不可靠(Parasuraman 與 Manzey 2010;此點有爭議)。比較可行的是一種排了時間、份量小、主動推到人面前,而且永不降到零的抽查。
本文介紹定下這種抽查的程序,以及執行它的 agent skill。產出是一份檢查計畫與一份漏網紀錄。
程序
1. 分開機械檢查與判斷檢查。先為這個步驟寫一份簡短的缺陷清單:怎樣才算錯。沒有缺陷定義的檢查,只是瞄一眼。清單上能由程式、規則或格式驗證的項目(格式、必填欄、數量、檔案在不在、連結通不通、數字與來源相符)列為機械檢查,每件都跑,結果報給人看;它們不算人的檢查。內容對不對、合不合用、有沒有說到該說的,列為判斷檢查,由人抽查。
2. 定出錯代價的等級。一件沒被發現的缺陷會停在哪裡:A 級,留在流程內部,撤回成本低;B 級,在有人察覺之前流到下一步或下一個人,或要花真實的時間撤回;C 級,到達流程以外的人、涉及金錢或承諾,或無法撤回。C 級而且自行執行的步驟不在本方法範圍內,應先回到分工(見 allocate-ai-work);C 級但只替人備料的步驟,每件都要判斷檢查。
3. 定起始抽查率。以下是 Trigpoint(2026)的工作預設值,不是研究文獻給出的數字;調整時寫明理由。
| 紀錄 | A 級 | B 級 | C 級 |
|---|---|---|---|
| 已檢查不足 20 件 | 每件 | 每件 | 每件 |
| 最近 20 件中有缺陷 | 每件 | 每件 | 每件 |
| 已檢查 20 件以上,最近 20 件無缺陷 | 可降至五件抽一件 | 可降至三件抽一件 | 每件 |
「可降至」的意思是:負責人在覆核日可以決定降,步驟不會自己降。下限:A 級不低於十件抽一件,B 級不低於四件抽一件,使用期間每週至少檢查一件;C 級沒有低於每件的下限。抽查率慢慢滑到零,正是本方法要防的失誤。
計畫上要寫明紀錄能證明什麼。檢查了 n 件都沒有缺陷,真實缺陷率仍可能高達約 3/n(95% 上界,即「三之法則」):20 件無誤,仍容得下約 15% 的缺陷率;60 件,約 5%。從未檢查過,或檢查了卻沒有記下件數,就寫「無紀錄」,當作零件處理。
4. 算工作量。每週件數 × 抽查比例 × 每次檢查的分鐘數,再問負責人這個步驟可以分到多少檢查時間。超出時依序考慮:把判斷項目改成機械檢查;把大件拆成單一主張或單一段落再抽;用 allocate-ai-work 降低件數或步驟的等級。把檢查交給另一個 AI 審查者,只是把工作搬走,人仍要抽查這個審查者。最後才由負責人明確決定接受較低的抽查率,甚至低於下限,並記為已接受的風險:寫下抽查率、它留下的上界,以及覆核日期。永不為了遷就時間而悄悄降低抽查率。
5. 讓抽查真的發生。隨機抽,不挑容易檢查或看起來怪的;按時把要抽的件推到檢查者面前,例如一份每週清單;每次只看第 1 步列出的判斷項目。檢查者可以是 AI 審查者,但負責人要抽查它的裁定,工作預設為十件抽一件、每週至少一件。檢查一件,是打開這一件或它的來源;人看著審查者的摘要逐件接受或退回,不算檢查過,這些裁定也不能取代對審查者裁定的抽查。
6. 記漏網。每個缺陷,不論怎樣發現,都記一筆:發現日期、哪一件、錯在哪裡、由誰或什麼發現、哪一項檢查本該攔下、流到多遠、代價、改了什麼。抽查發現的缺陷,表示檢查有效:退回逐件,直到連續 20 件無誤。機械檢查發現的,修自動化或它的輸入,判斷抽查率不變。下游專為它設計的安全網攔下的(例如改派、月底對帳),記入缺陷紀錄,不算漏網。漏網指沒有任何機制設計來攔它,卻在下游或由外部發現的缺陷:退回逐件,改檢查方式讓它下次會被攔下;同類漏網再現時,回頭檢討步驟的等級。漏網表示抽查率或檢查方式錯了,不表示人粗心。
7. 重新校準,並讓紀錄看得見。有缺陷或漏網時,立刻提高抽查率;這是安全的方向。降低抽查率由負責人在固定覆核日決定,桌上要有紀錄與它的上界。覆核日可先定為每月一次,每次漏網後另加一次。檢查紀錄與漏網紀錄放在依賴這個步驟的人看得到的地方:信任要跟得上表現,人得先看得到表現。
內建的更正
我們用自家的兩個檢查步驟與兩個為測試而寫的步驟試跑,改了三輪。
第一版收集了「每次檢查要幾分鐘」,卻沒有用上。其中一份計畫因此推出每週約 40 小時的檢查量。修訂後加入第 4 步:先算工作量,超出時依序處理,最後才是負責人明確接受的風險。
第三輪改了漏網的定義。之前,下游例行攔下的缺陷都算漏網;一個大量、每天都有改派的步驟,每次改派都把它退回逐件,永遠到不了抽樣。現在,專為它設計的下游安全網攔下的缺陷只記入缺陷紀錄。
還有一項說法上的修正。研究指出,經歷過自動化失誤,可能降低自滿(Parasuraman 與 Manzey 2010);他們沒有把抽查列為對策。本方法把抽查當作有意蒐集失誤經驗的做法,這是 Trigpoint(2026)的推論。
目前的成效
測試規模小,都不構成準確率。
第一組,本工作室兩個已在運作的檢查步驟:核收外部 AI 代理人交回的工作件,以及採用子代理人在工作階段中蒐集的事實。我們拿一個月的實際紀錄對照。兩個步驟都沒有書面抽查率,也都沒有記下檢查了幾件。
因為沒有計數,多數類別只能寫「無紀錄」,會流到下一步或對外的類別都落在每件檢查。工作量一步把負責人的檢查份額估為每週約半小時至一小時。
第二組,兩個為測試而寫的步驟。供應商發票抽取屬 C 級(錯的總額會被付出),每件檢查,落在假設的時間預算內。客服工單標籤屬 B 級,出現兩個缺陷後退回逐件,超出預算五倍;計畫逐項走過工作量的選項,把是否改由 AI 審查者一事交給負責人決定,並在負責人決定之前,不把較低的抽查率當作已接受。這份計畫就是 GitHub 上的示範計畫。
測試的限制:執行者每次是一個全新的 AI 助理,只讀 skill 與描述,不准搜尋或提問;需要問負責人的地方,執行者自行假設並記下假設。描述由協調測試的 AI 助理撰寫,並由它負責比對,兩者是同一個模型;這不是盲評,也沒有事先登記。共四輪,每輪寫四份計畫,約 8 至 14 分鐘,連讀 skill 在內約 13 萬至 17.5 萬個 tokens。尚未測試:照計畫執行後是否攔下更多缺陷、是否改變信任;漏網紀錄尚未經過一段時間的實際運作;他人描述的步驟;同一步驟兩次執行之間的一致程度。
第 5 步關於怎樣才算檢查過一件的規則,是在這些測試之後加入的,測試沒有針對它重跑。
證據級目前只到自身實測:一個單人工作室用過,記錄在案。
適用時機
適用於 AI 步驟起草、抽取、分類或自行執行,而有人應該審查的場合;審查已經變成點一下就過、沒有人知道實際檢查了多少;或一個 AI 錯誤溜過之後,要讓抽查率有所反應。不適用於負責決定或執行不可撤回動作的步驟(這些不應交給抽樣:逐件由人審,或重新設計,見 allocate-ai-work)、有法定抽查率的受規管審查,以及自動化上線前的測試。
取得 skill
skill、研究節點索引與示範計畫放在 GitHub:github.com/trigpoint-pub/agent-skills(skills/calibrate-ai-checks/)。同一組另有 allocate-ai-work(交出之前)與 classify-ai-incident(出錯之後);三件可各自安裝。
skill 以 MIT 授權發布,repo 內的文章快照以 CC BY 4.0 授權。兩者都可以商用,包括顧問與培訓者用在客戶工作上;條件是保留授權聲明,並註明出處。