red-team-gate
先紅隊,再採信
多數被人拿來據以行動的主張,都由希望它成立的人查過。這算不上不誠實,檢查通常就是這樣發生:寫下主張的人,在同一段時間、帶著同一組假設,順手找它的問題。這樣找,多半找到的是支持。
改由 AI 代為檢查,同一個問題仍可能出現。Anthropic 的研究發現,受測的五個先進 AI 助理都一貫出現迎合(sycophancy):回答傾向配合使用者原有的看法,而非依真實作答[9]Anthropic. (2023). Towards understanding sycophancy in language models. 書目經發布頁核對。要旨與摘要一致。。OpenAI 於 2025 年 4 月 25 日推出的一次 GPT-4o 更新,令模型明顯更加迎合使用者;4 月 28 日起,OpenAI 開始撤回這次更新[10]OpenAI. (2025, May 2). Expanding on what we missed with sycophancy. 書目經發布頁核對。主張已對照全文核實。。
查核來源有幫助,但回答的是另一個問題。好的來源說明一個主張有根據;它沒有說明這個主張經不經得起有人全力推翻。還有一整類主張,來源根本無從裁定:概念區分、「應該怎樣做」、某人為自己工作而建的框架。這些主張沒有一份一手文件可以確認。
本文介紹一套回答第二個問題的程序,規模小、可重複,以及執行它的 agent skill。
第一個問題的示範,即逐條查核來源的一份交付,見〈示範交付〉▸
交入與交回
交給 Red-Team Gate 的,是一個主張、支持它的理由,以及哪一項決策或出版依賴它;有來源材料也可一併附上。程序先寫出主張的最強版本,再交給在全新 context 裡工作的審查者設法推翻。
交回的報告列出判決、最強的一項攻擊、簡短的推理軌跡、審查者讀過與未能查核的來源,以及仍然存在的不確定性;判為削弱時,附上仍然站得住的較窄版本。報告也記下這次審查的獨立程度。
程序
1. 先判定主張的類型。關於世界的經驗型(empirical)、關於一個詞涵蓋什麼的定義型(definitional)、關於概念之間關係的概念型(conceptual)、關於該做什麼的規範型(normative),或某個自建框架(framework)。類型決定攻擊方法。用統計檢驗概念主張是範疇錯誤;不看證據就辯論經驗主張也是。混合型主張先拆開。
2. 先立最強版本(steelmanning)。攻擊之前,把主張陳述到最好:補上作者沒有明說的支持,把隱含前提寫出來。打敗一個弱版本,什麼也證明不了。反方向的錯誤同樣存在:強到連作者本人都不會持有的版本,已經是另一個主張。
3. 交給沒有利害關係的審查者。審查者不知道主張由誰提出、為何重要。它唯一的任務是反駁;在主張頂住攻擊之前,預設判決是「推翻」。它在全新的 context 裡工作,不帶作者的筆記。以 AI agent 執行時,這代表另開 sub-agent 或新對話;建構論證的那段對話不算。
4. 用方法攻擊,不用意見。每一類主張都有累積已久的方法:
- 經驗型:如果主張不成立,證據會不會看起來更差?主張幾乎不可能不通過的檢驗,只算弱支持(Mayo 的嚴格檢驗,severe testing)[1]Mayo, D. G. (1996). Error and the Growth of Experimental Knowledge. University of Chicago Press. DOI 10.7208/chicago/9780226511993.001.0001. 書目經出版社記錄核對。出處經跨模型雙查核實。[2]Mayo, D. G. (2018). Statistical Inference as Severe Testing: How to Get Beyond the Statistics Wars. Cambridge University Press. DOI 10.1017/9781107286184. 書目經出版社記錄核對。出處經跨模型雙查核實。。另外:哪一項觀察最能降低信心?有沒有人去找過?
- 定義型:定義納入了不該納入的情形,或漏掉了應該納入的;以及是否有任何觀察可以構成反例(Popper)[3]Popper, K. (1935). Logik der Forschung. Springer. DOI 10.1007/978-3-7091-4177-9. 書目經出版社記錄核對。。
- 概念型:最強的對立立場、兩者在哪裡相撞、概念在哪裡失效。
- 規範型:結論是否由前提推出、哪一個前提是隱藏的;再做一次事前驗屍(pre-mortem)[4]Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. 書目經出版社記錄核對。出處經跨模型雙查核實。:「六個月後,照這樣做的結果很糟;為什麼?」
- 框架:每個框架遇到問題都會調整,調整本身並非缺陷。要問的是:長期來看,這些調整有沒有帶出後來獲證實的新預測,還是只在事後逐一貼合問題(Lakatos)[5]Lakatos, I. (1970). Falsification and the methodology of scientific research programmes. In I. Lakatos & A. Musgrave (Eds.), Criticism and the Growth of Knowledge (pp. 91–196). Cambridge University Press. DOI 10.1017/CBO9781139171434.009. 書目經出版社記錄核對。出處經跨模型雙查核實。。已知事實若不是框架當初刻意遷就的對象,也可以算作新預測(依 Zahar 的「使用新穎性」,use-novelty;原文段落尚未一手核對)[6]Zahar, E. (1973). Why did Einstein's programme supersede Lorentz's? (I). The British Journal for the Philosophy of Science, 24(2), 95–123. DOI 10.1093/bjps/24.2.95. 書目經出版社記錄核對。。這項檢驗需要一段調整史,沒有調整史就無法進行。另外:什麼結果會令框架作者放棄它?
Klein 是這樣描述事前驗屍的:主持人先宣布計畫已經失敗,成員各自獨立寫下想得到的原因,再由主持人請每人輪流提出一項[4]Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. 書目經出版社記錄核對。出處經跨模型雙查核實。。成員要做的事,因此由替計畫辯護轉為解釋失敗。
他記錄過另一機構的一個研究專案:整場 90 分鐘的啟動會,沒有人提到任何時間限制。事前驗屍時,一位高層主管指出,公司評審產品提案之前,可能沒有足夠時間備妥商業論證。專案經理隨即修改計畫,把公司的決策週期納入考慮[4]Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. 書目經出版社記錄核對。出處經跨模型雙查核實。。
5. 回報三種判決之一。成立(survives):每一項認真的攻擊,按方法執行後都失敗。削弱(weakened):主張在較窄的範圍內或以較低的信心成立。推翻(refuted):決定性反例、相反證據,或根本不存在可以推翻它的觀察。因為找不到可推翻的觀察而判推翻,意思是主張照原樣無法依賴,並不表示它是錯的。削弱是有用的結果:它指出哪一個版本真正可以依賴。「我們找過,什麼都沒找到」不等於成立。
判決交回決策的擁有者。它是一項輸入,不是批准。
內建的兩項更正
撰寫方法卡時,我們也檢查了方法本身,兩個流行的引用沒有站住。
事前驗屍常附帶一個數字:想像專案已經失敗,可令人找出原因的能力提升 30%。這個數字轉述自一篇 2007 年的文章[4]Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. 書目經出版社記錄核對。出處經跨模型雙查核實。,該文把它歸於一項 1989 年的研究[7]Mitchell, D. J., Russo, J. E., & Pennington, N. (1989). Back to the future: Temporal perspective in the explanation of events. Journal of Behavioral Decision Making, 2(1), 25–38. DOI 10.1002/bdm.3960020103. 書目經出版社記錄核對。要旨與摘要一致。出處經跨模型雙查核實。。那項研究把效果歸於對結果的確定感,而非想像中的時間轉移;我們在它可以取得的文本中,也找不到 30% 這個數字。這個技巧仍然有用,但這個數字不應被當作事實重複。
第二項是「正題、反題、合題」的公式,通常歸於黑格爾。這套三分用語屬於費希特;黑格爾描述自己的哲學時,從未採用[8]Maybee, J. E. (2020). Hegel's dialectics. In E. N. Zalta (Ed.), The Stanford Encyclopedia of Philosophy (Winter 2020 ed.). 書目經出版社記錄核對。主張已對照全文核實。。方法卡描述的是動作本身(最強的對立立場、兩者相撞、保留雙方正確之處的新立場),不使用這個公式的名稱。
目前的成效
我們先對私有版本做過一次小型試驗:五個主張,其中三個植入錯誤,每個由一個全新的 agent 審查,審查所用的模型與寫主張的模型不同。三個植入錯誤全部被推翻,審查者指出了正確的機制,也列出一手來源。兩個本應成立的主張沒有被推翻,但都判為削弱,因為審查者在措辭中找到真實的缺陷。沒有主張達到成立。
之後我們在一台 agent 主機上,用六個練習主張測試第一個公開候選版,其中包括一個植入錯誤的框架、一項越界的建議,以及一個乾淨的真主張。六個判決全部落在答案範圍內,真主張判為成立。這次的審查者與協調測試的 agent 是同一個模型,測試也非盲測。那次之後我們修改了部分措辭,尚未重跑。
兩次小型測試合起來只算初步讀數,尚不足以構成準確率。兩次用的版本不同,又重用了三個主張,結果不應相加;而且多數主張可以對照公開來源查核,審查因此比多數規範型或框架型主張容易。每次審查也要跑一次完整的 agent:第一次試驗中,約 8 萬至 11.5 萬個 tokens,耗時數分鐘。
適用時機
適用於決策或出版真正依賴的少數幾個主張,尤其是沒有文件可以裁定的那些。逐句跑完一份報告並不適合。
AI 產出的主張,同樣適用這套程序。軟體與系統架構書架最後三個節點,各說明一種失效:
查核來源可以抓出其中一部分,例如引用是否存在。主張本身經不經得起推翻,是另一個問題,也就是本程序回答的那一題。
取得 skill
skill 放在 GitHub:github.com/trigpoint-pub/agent-skills。skill 本身、方法卡與練習主張在 skills/red-team-gate/;練習主張的答案、完整的試驗紀錄與書目在 docs/red-team-gate/,不隨 skill 安裝。
如何閱讀來源註記 「書目經…核對」指作者、年份、題名與出版項已確認;不代表該來源的主張已被核對。「與摘要一致」指主張與論文摘要相符;不含逐句對照全文。「對照全文核實」指主張已與來源文本本身比對。 定義版本:2026-09-20。
- [1] Mayo, D. G. (1996). Error and the Growth of Experimental Knowledge. University of Chicago Press. https://doi.org/10.7208/chicago/9780226511993.001.0001 ↩
- [2] Mayo, D. G. (2018). Statistical Inference as Severe Testing: How to Get Beyond the Statistics Wars. Cambridge University Press. https://doi.org/10.1017/9781107286184 ↩
- [3] Popper, K. (1935). Logik der Forschung. Springer. https://doi.org/10.1007/978-3-7091-4177-9 ↩
- [4] Klein, G. (2007). Performing a project premortem. Harvard Business Review, 85(9), 18–19. https://hbr.org/2007/09/performing-a-project-premortem ↩
- [5] Lakatos, I. (1970). Falsification and the methodology of scientific research programmes. In I. Lakatos & A. Musgrave (Eds.), Criticism and the Growth of Knowledge (pp. 91–196). Cambridge University Press. https://doi.org/10.1017/CBO9781139171434.009 ↩
- [6] Zahar, E. (1973). Why did Einstein's programme supersede Lorentz's? (I). The British Journal for the Philosophy of Science, 24(2), 95–123. https://doi.org/10.1093/bjps/24.2.95 ↩
- [7] Mitchell, D. J., Russo, J. E., & Pennington, N. (1989). Back to the future: Temporal perspective in the explanation of events. Journal of Behavioral Decision Making, 2(1), 25–38. https://doi.org/10.1002/bdm.3960020103 ↩
- [8] Maybee, J. E. (2020). Hegel's dialectics. In E. N. Zalta (Ed.), The Stanford Encyclopedia of Philosophy (Winter 2020 ed.). https://plato.stanford.edu/archives/win2020/entries/hegel-dialectics/ ↩
- [9] Anthropic. (2023). Towards understanding sycophancy in language models. https://www.anthropic.com/research/towards-understanding-sycophancy-in-language-models ↩
- [10] OpenAI. (2025, May 2). Expanding on what we missed with sycophancy. https://openai.com/index/expanding-on-sycophancy/ ↩
全部方法卡的書目與核查方式見 GitHub 上的 docs/red-team-gate/SOURCES.md。