先紅隊，再採信

多數被人拿來據以行動的主張，都由希望它成立的人查過。這算不上不誠實，檢查通常就是這樣發生：寫下主張的人，在同一段時間、帶著同一組假設，順手找它的問題。這樣找，多半找到的是支持。

查核來源有幫助，但回答的是另一個問題。好的來源說明一個主張有根據；它沒有說明這個主張經不經得起有人全力推翻。還有一整類主張，來源根本無從裁定：概念區分、「應該怎樣做」、某人為自己工作而建的框架。這些主張沒有一份一手文件可以確認。

本文介紹一套回答第二個問題的程序，規模小、可重複，以及執行它的 agent skill。

程序

1. 先判定主張的類型。關於世界的經驗型（empirical）、關於一個詞涵蓋什麼的定義型（definitional）、關於概念之間關係的概念型（conceptual）、關於該做什麼的規範型（normative），或某個自建框架（framework）。類型決定攻擊方法。用統計檢驗概念主張是範疇錯誤；不看證據就辯論經驗主張也是。混合型主張先拆開。

2. 先立最強版本（steelmanning）。攻擊之前，把主張陳述到最好：補上作者沒有明說的支持，把隱含前提寫出來。打敗一個弱版本，什麼也證明不了。反方向的錯誤同樣存在：強到連作者本人都不會持有的版本，已經是另一個主張。

3. 交給沒有利害關係的審查者。審查者不知道主張由誰提出、為何重要。它唯一的任務是反駁；在主張頂住攻擊之前，預設判決是「推翻」。它在全新的 context 裡工作，不帶作者的筆記。以 AI agent 執行時，這代表另開 sub-agent 或新對話；建構論證的那段對話不算。

4. 用方法攻擊，不用意見。每一類主張都有累積已久的方法：

• 經驗型：如果主張不成立，證據會不會看起來更差？主張幾乎不可能不通過的檢驗，只算弱支持（Mayo 的嚴格檢驗，severe testing）[1]Mayo, D. G. (1996). Error and the Growth of Experimental Knowledge. University of Chicago Press. DOI 10.7208/chicago/9780226511993.001.0001. 書目經出版社記錄核對。出處經跨模型雙查核實。[2]Mayo, D. G. (2018). Statistical Inference as Severe Testing: How to Get Beyond the Statistics Wars. Cambridge University Press. DOI 10.1017/9781107286184. 書目經出版社記錄核對。出處經跨模型雙查核實。。另外：哪一項觀察最能降低信心？有沒有人去找過？
• 定義型：定義納入了不該納入的情形，或漏掉了應該納入的；以及是否有任何觀察可以構成反例（Popper）[3]Popper, K. (1935). Logik der Forschung. Springer. DOI 10.1007/978-3-7091-4177-9. 書目經出版社記錄核對。。
• 概念型：最強的對立立場、兩者在哪裡相撞、概念在哪裡失效。
• 規範型：結論是否由前提推出、哪一個前提是隱藏的；再做一次事前驗屍（pre-mortem）[4]Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. 書目經出版社記錄核對。出處經跨模型雙查核實。：「六個月後，照這樣做的結果很糟；為什麼？」
• 框架：每個框架遇到問題都會調整，調整本身並非缺陷。要問的是：長期來看，這些調整有沒有帶出後來獲證實的新預測，還是只在事後逐一貼合問題（Lakatos）[5]Lakatos, I. (1970). Falsification and the methodology of scientific research programmes. In I. Lakatos & A. Musgrave (Eds.), Criticism and the Growth of Knowledge (pp. 91–196). Cambridge University Press. DOI 10.1017/CBO9781139171434.009. 書目經出版社記錄核對。出處經跨模型雙查核實。。已知事實若不是框架當初刻意遷就的對象，也可以算作新預測（依 Zahar 的「使用新穎性」，use-novelty；原文段落尚未一手核對）[6]Zahar, E. (1973). Why did Einstein's programme supersede Lorentz's? (I). The British Journal for the Philosophy of Science, 24(2), 95–123. DOI 10.1093/bjps/24.2.95. 書目經出版社記錄核對。。這項檢驗需要一段調整史，沒有調整史就無法進行。另外：什麼結果會令框架作者放棄它？

5. 回報三種判決之一。成立（survives）：每一項認真的攻擊，按方法執行後都失敗。削弱（weakened）：主張在較窄的範圍內或以較低的信心成立。推翻（refuted）：決定性反例、相反證據，或根本不存在可以推翻它的觀察。因為找不到可推翻的觀察而判推翻，意思是主張照原樣無法依賴，並不表示它是錯的。削弱是有用的結果：它指出哪一個版本真正可以依賴。「我們找過，什麼都沒找到」不等於成立。

判決交回決策的擁有者。它是一項輸入，不是批准。

內建的兩項更正

撰寫方法卡時，我們也檢查了方法本身，兩個流行的引用沒有站住。

事前驗屍常附帶一個數字：想像專案已經失敗，可令人找出原因的能力提升 30%。這個數字轉述自一篇 2007 年的文章[4]Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. 書目經出版社記錄核對。出處經跨模型雙查核實。，該文把它歸於一項 1989 年的研究[7]Mitchell, D. J., Russo, J. E., & Pennington, N. (1989). Back to the future: Temporal perspective in the explanation of events. Journal of Behavioral Decision Making, 2(1), 25–38. DOI 10.1002/bdm.3960020103. 書目經出版社記錄核對。要旨與摘要一致。出處經跨模型雙查核實。。那項研究把效果歸於對結果的確定感，而非想像中的時間轉移；我們在它可以取得的文本中，也找不到 30% 這個數字。這個技巧仍然有用，但這個數字不應被當作事實重複。

第二項是「正題、反題、合題」的公式，通常歸於黑格爾。這套三分用語屬於費希特；黑格爾描述自己的哲學時，從未採用[8]Maybee, J. E. (2020). Hegel's dialectics. In E. N. Zalta (Ed.), The Stanford Encyclopedia of Philosophy (Winter 2020 ed.). 書目經出版社記錄核對。主張已對照全文核實。。方法卡描述的是動作本身（最強的對立立場、兩者相撞、保留雙方正確之處的新立場），不使用這個公式的名稱。

目前的成效

我們先對私有版本做過一次小型試驗：五個主張，其中三個植入錯誤，每個由一個全新的 agent 審查，審查所用的模型與寫主張的模型不同。三個植入錯誤全部被推翻，審查者指出了正確的機制，也列出一手來源。兩個本應成立的主張沒有被推翻，但都判為削弱，因為審查者在措辭中找到真實的缺陷。沒有主張達到成立。

之後我們在一台 agent 主機上，用六個練習主張測試第一個公開候選版，其中包括一個植入錯誤的框架、一項越界的建議，以及一個乾淨的真主張。六個判決全部落在答案範圍內，真主張判為成立。這次的審查者與協調測試的 agent 是同一個模型，測試也非盲測。那次之後我們修改了部分措辭，尚未重跑。

兩次小型測試合起來只算初步讀數，尚不足以構成準確率。兩次用的版本不同，又重用了三個主張，結果不應相加；而且多數主張可以對照公開來源查核，審查因此比多數規範型或框架型主張容易。每次審查也要跑一次完整的 agent：第一次試驗中，約 8 萬至 11.5 萬個 tokens，耗時數分鐘。

適用時機

適用於決策或出版真正依賴的少數幾個主張，尤其是沒有文件可以裁定的那些。逐句跑完一份報告並不適合。

取得 skill

skill 放在 GitHub：github.com/anselbuilds/agent-skills。skill 本身、方法卡與練習主張在 skills/red-team-gate/；練習主張的答案、完整的試驗紀錄與書目在 docs/red-team-gate/，不隨 skill 安裝。