Trigpoint
Collections 書架 › Software & Systems Architecture 軟體與系統架構 › Faithfulness vs Factuality 忠實性與事實性
忠於來源,和對世界為真,是兩條各自獨立的判定線。

忠實性與事實性

Faithfulness vs Factuality · Maynez et al. (2020)
已對照來源本身 ✓ 機器學習 · 評估軸 先讀:生成幻覺 私下告訴編輯 ▸
三句講透 忠實問的是這段話有沒有被來源支持,事實問的是它對世界是不是真的。
兩者是獨立的判定線,交叉出四種情形,每一種的修法都不同。
用一個分數代表兩者,你會修錯方向。

↳ 見過反例?

成立條件
模型照你給的材料產出後,要分開驗收「是不是材料說的」與「對不對」時。
證據強度
概念框架;已對照來源本身
失效樣貌
要分兩把尺驗收,前提是手上有你給的材料;沒有材料時,這套判法只能外推。
忠實性與事實性 Maynez et al. (2020) Faithfulness vs Factuality 兩軸彼此獨立:過了一把尺,不代表過了另一把 縱軸:對世界是不是真的 橫軸:有沒有被來源支持 不忠實,但為真 脫離來源生成 查證後為真 忠實且為真 理想情形 兩把尺都過 不忠實,也不為真 典型有害 來源沒說,世界也不是這樣 忠實,但不為真 來源自己錯,你如實複寫 忠實度一百分,結論仍錯 為真 不為真 沒有 有 圖:trigpoint.pub
圖 1 · 兩條獨立的判定線交叉出四種情形:橫軸問這段話有沒有被來源支持,縱軸問它對世界是不是真的。
右上是理想;左上是脫離來源但查證為真;右下是來源自己錯而你如實複寫;左下是典型有害。
象限為概念示意,刻意不標任何比例。 放大看圖 ▸

一、發生什麼事

一段輸出有沒有被來源支持,和它對世界是不是真的,要分兩條線各自判定。這篇 2020 年的論文把一個長期混用的東西拆開了。

忠實的判準是觸發式的:若一段輸出含有未被輸入文件支持的片段,即判為幻覺[1]Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 1906–1919. DOI 10.18653/v1/2020.acl-main.173. 書目經官方記錄核對。主張已對照全文核實。忠實判準之觸發式定義:若摘要含有未被輸入文件支持的片段,即判為幻覺。事實判準之獨立條款:若摘要含有不在文件中而為事實正確的資訊,則含有事實性幻覺。同篇並明說其立場:摘要中脫離來源的內容,若能帶來更好、且就文件與相關背景知識而言為真的摘要,即可接受;並指出學界對此並無共識。。注意這條完全不問世界:它只問來源。

事實的判準是獨立條款:若一段輸出含有不在文件中而為事實正確的資訊,則它含有事實性幻覺[1]Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 1906–1919. DOI 10.18653/v1/2020.acl-main.173. 書目經官方記錄核對。主張已對照全文核實。忠實判準之觸發式定義:若摘要含有未被輸入文件支持的片段,即判為幻覺。事實判準之獨立條款:若摘要含有不在文件中而為事實正確的資訊,則含有事實性幻覺。同篇並明說其立場:摘要中脫離來源的內容,若能帶來更好、且就文件與相關背景知識而言為真的摘要,即可接受;並指出學界對此並無共識。。這句話的措辭值得停一下:它承認一段輸出可以同時「不忠於來源」與「對世界為真」,而且那仍然被算作一種幻覺(因為它不是來源說的)。

兩軸交叉出四種情形,每一種都真實存在:忠實且正確(理想);忠實但不正確(來源自己錯,你如實複寫,判定仍是忠實,但你傳遞了錯誤);不忠實但正確(脫離來源生成,但查證為真);不忠實且不正確(典型有害)。

而這個拆分的實務價值在於它指向不同的修法:忠實的問題是複寫失真,可以用蘊涵檢查或強制引用來治;事實的問題是世界知識錯誤,只能靠外部查核或檢索。混成一個分數,你會拿錯的工具去修。

本篇同時給了摘要領域的內外型界定:內在型是利用文件中已有的資訊但誤述,外在型是完全脫離來源材料生成[2]同篇對摘要領域之內外型界定:內在型為利用文件中已有的資訊但誤述;外在型為完全脫離來源材料生成。。

二、為什麼這對你重要

這頁是本書架給你的驗收工具,而且它可以今天就用。

你請模型整理一份材料,拿到結果之後,多數人問的是「這對不對」。這頁要你把那一問拆成兩問,而且順序很重要。

先問:這句話是我給的材料說的嗎。 這一問便宜、快、而且答案是二元的:回去比對就知道。它抓的是複寫失真。

再問:這句話對嗎。 這一問貴,需要外部知識或另一份來源。它抓的是世界知識錯誤。

順序很重要,因為第一問能過濾掉大部分問題,而且它的成本低到可以每次都做。第二問則要留給真正承重的斷言。反過來,若你沒有交給模型任何材料,動手驗收之前,得先決定要拿什麼來比對。

第二個實務點是那個最容易被忽略的象限:忠實但不正確。你給的材料本身錯了,模型如實複寫,於是它「完全忠實」而你拿到一個錯的結論。這一格提醒你:對來源的忠實度做到一百分,也不會修正來源的錯誤。所以即使用檢索增強的工作流,檢索庫的品質仍然是天花板。

第三個,也是這頁最反直覺的一句,而且它是本站的立場,論文本身站在另一邊。論文明說,摘要系統可以融入背景知識:脫離來源的內容,只要能帶來更好、而且就文件與相關背景知識而言為真的摘要,就可以接受;它也指出,學界對此並無共識[1]Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 1906–1919. DOI 10.18653/v1/2020.acl-main.173. 書目經官方記錄核對。主張已對照全文核實。忠實判準之觸發式定義:若摘要含有未被輸入文件支持的片段,即判為幻覺。事實判準之獨立條款:若摘要含有不在文件中而為事實正確的資訊,則含有事實性幻覺。同篇並明說其立場:摘要中脫離來源的內容,若能帶來更好、且就文件與相關背景知識而言為真的摘要,即可接受;並指出學界對此並無共識。。放在摘要裡,這說得通:好的摘要本來就會帶進作者的背景知識。但本頁講的是驗收:你交出一份材料,要模型照它整理。在這個情境裡,脫離來源而為真的那一格,不該被當成「幸好沒錯」。 它代表你的流程在那個位置沒有約束力;下一次同樣的位置可能就不真了。碰巧為真是流程失效的偽陰性,不是成功。

驗證層 · 會員
這個節點的導讀公開閱讀。
驗證細節與失效邊界屬會員版。
平均每月 US$8.25 · 亦可按月訂閱 ▸

Lab 實測 有實測才寫

本節點暫無實測。

常見誤讀

所屬頁核驗:已對照來源本身 ✓ · 內容最後修訂 2026-11-14 · 修正記錄 ↓

  • 常見轉述「忠實與正確是同一件事」:它們是兩條獨立的判定線。一段完全忠於來源的輸出可以是錯的(來源自己錯),一段脫離來源的輸出也可以是對的。混用會讓你修錯方向。 #
  • 常見轉述「這組軸是這篇憑空原創」:關切早於它(例:2019 年一篇評估批判已把事實正確性列為缺口),但把兩軸列為正交、並把忠實與事實兩詞成對使用,本站歸為這篇所形式化。原創與形式化要分開記。 #
  • 常見轉述「內在型與外在型在各篇論文裡是同一組定義」:本篇的原始措辭(誤述已有內容/完全脫離來源)與後續通用綜述的簡化措辭不逐字等價。追溯定義時要分清版本。 #
驗證紀錄

記錄核查深度,不擔保結論為真。

修正記錄
  • 本頁不引用該篇的具體百分比:本站未逐表核對其統計數字,只作定性陳述。
參考文獻

如何閱讀來源註記 「書目經…核對」指作者、年份、題名與出版項已確認;不代表該來源的主張已被核對。「對照全文核實」指主張已與來源文本本身比對。 定義版本:2026-09-20。

  1. [1] Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of ACL 2020, 1906–1919. ↩
  2. [2] Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of ACL 2020, 1906–1919.

↳ 引註有誤?

新書架開架時通知我

新書架開架時通知我

開架通知只在新書架開架或閱讀規則變更時寄出。

試行

私下告訴編輯:更正、反例或適用性

提交只供編輯閱讀,處理前不公開;處理後,編輯撰寫的摘要與回應才會刊出。提交毋須註冊,暱稱可留空。

你想提交的是
設定公開名稱後,可選擇以名稱致謝 ▸
不登入,直接匿名提交

登入後可在「我的」頁追蹤處理狀態。你寫的內容會保留。

你已登入:本件會連結到你的帳號,只有你和編輯看得到,方便你在「我的」頁追蹤狀態。原文不會公開。 完整私隱政策 ▸

不連到帳號,改為匿名提交 ▸

不收集電郵。你的原文與暱稱只供編輯閱讀,不會公開;站上只刊載編輯撰寫的摘要。真人驗證由 Cloudflare Turnstile 提供;為限制濫用,系統只保存 IP 的雜湊值,不保存明文 IP。原文保存於我們的雲端服務商,可應要求刪除。 完整私隱政策 ▸