本页由繁体中文版自动转换
忠实性与事实性
两者是独立的判定线,交叉出四种情形,每一种的修法都不同。
用一个分数代表两者,你会修错方向。
- 成立条件
- 模型照你给的材料产出后,要分开验收「是不是材料说的」与「对不对」时。
- 证据强度
- 概念框架;已对照来源本身
- 失效样貌
- 要分两把尺验收,前提是手上有你给的材料;没有材料时,这套判法只能外推。
右上是理想;左上是脱离来源但查证为真;右下是来源自己错而你如实复写;左下是典型有害。
象限为概念示意,刻意不标任何比例。 放大看图 ▸转发 PNG ▸
一、发生什么事
一段输出有没有被来源支持,和它对世界是不是真的,要分两条线各自判定。这篇 2020 年的论文把一个长期混用的东西拆开了。
忠实的判准是触发式的:若一段输出含有未被输入文件支持的片段,即判为幻觉[1]Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 1906–1919. DOI 10.18653/v1/2020.acl-main.173. 书目经官方记录核对。主张已对照全文核实。忠实判准之触发式定义:若摘要含有未被输入文件支持的片段,即判为幻觉。事实判准之独立条款:若摘要含有不在文件中而为事实正确的资讯,则含有事实性幻觉。同篇并明说其立场:摘要中脱离来源的内容,若能带来更好、且就文件与相关背景知识而言为真的摘要,即可接受;并指出学界对此并无共识。。注意这条完全不问世界:它只问来源。
事实的判准是独立条款:若一段输出含有不在文件中而为事实正确的资讯,则它含有事实性幻觉[1]Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 1906–1919. DOI 10.18653/v1/2020.acl-main.173. 书目经官方记录核对。主张已对照全文核实。忠实判准之触发式定义:若摘要含有未被输入文件支持的片段,即判为幻觉。事实判准之独立条款:若摘要含有不在文件中而为事实正确的资讯,则含有事实性幻觉。同篇并明说其立场:摘要中脱离来源的内容,若能带来更好、且就文件与相关背景知识而言为真的摘要,即可接受;并指出学界对此并无共识。。这句话的措辞值得停一下:它承认一段输出可以同时「不忠于来源」与「对世界为真」,而且那仍然被算作一种幻觉(因为它不是来源说的)。
两轴交叉出四种情形,每一种都真实存在:忠实且正确(理想);忠实但不正确(来源自己错,你如实复写,判定仍是忠实,但你传递了错误);不忠实但正确(脱离来源生成,但查证为真);不忠实且不正确(典型有害)。
而这个拆分的实务价值在于它指向不同的修法:忠实的问题是复写失真,可以用蕴涵检查或强制引用来治;事实的问题是世界知识错误,只能靠外部查核或检索。混成一个分数,你会拿错的工具去修。
本篇同时给了摘要领域的内外型界定:内在型是利用文件中已有的资讯但误述,外在型是完全脱离来源材料生成[2]同篇对摘要领域之内外型界定:内在型为利用文件中已有的资讯但误述;外在型为完全脱离来源材料生成。。
二、为什么这对你重要
这页是本书架给你的验收工具,而且它可以今天就用。
你请模型整理一份材料,拿到结果之后,多数人问的是「这对不对」。这页要你把那一问拆成两问,而且顺序很重要。
先问:这句话是我给的材料说的吗。 这一问便宜、快、而且答案是二元的:回去比对就知道。它抓的是复写失真。
再问:这句话对吗。 这一问贵,需要外部知识或另一份来源。它抓的是世界知识错误。
顺序很重要,因为第一问能过滤掉大部分问题,而且它的成本低到可以每次都做。第二问则要留给真正承重的断言。反过来,若你没有交给模型任何材料,动手验收之前,得先决定要拿什么来比对。
第二个实务点是那个最容易被忽略的象限:忠实但不正确。你给的材料本身错了,模型如实复写,于是它「完全忠实」而你拿到一个错的结论。这一格提醒你:对来源的忠实度做到一百分,也不会修正来源的错误。所以即使用检索增强的工作流,检索库的品质仍然是天花板。
第三个,也是这页最反直觉的一句,而且它是本站的立场,论文本身站在另一边。论文明说,摘要系统可以融入背景知识:脱离来源的内容,只要能带来更好、而且就文件与相关背景知识而言为真的摘要,就可以接受;它也指出,学界对此并无共识[1]Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 1906–1919. DOI 10.18653/v1/2020.acl-main.173. 书目经官方记录核对。主张已对照全文核实。忠实判准之触发式定义:若摘要含有未被输入文件支持的片段,即判为幻觉。事实判准之独立条款:若摘要含有不在文件中而为事实正确的资讯,则含有事实性幻觉。同篇并明说其立场:摘要中脱离来源的内容,若能带来更好、且就文件与相关背景知识而言为真的摘要,即可接受;并指出学界对此并无共识。。放在摘要里,这说得通:好的摘要本来就会带进作者的背景知识。但本页讲的是验收:你交出一份材料,要模型照它整理。在这个情境里,脱离来源而为真的那一格,不该被当成「幸好没错」。 它代表你的流程在那个位置没有约束力;下一次同样的位置可能就不真了。碰巧为真是流程失效的伪阴性,不是成功。
Lab 实测 有实测才写
本节点暂无实测。
- 常见转述「忠实与正确是同一件事」:它们是两条独立的判定线。一段完全忠于来源的输出可以是错的(来源自己错),一段脱离来源的输出也可以是对的。混用会让你修错方向。 #
- 常见转述「这组轴是这篇凭空原创」:关切早于它(例:2019 年一篇评估批判已把事实正确性列为缺口),但把两轴列为正交、并把忠实与事实两词成对使用,本站归为这篇所形式化。原创与形式化要分开记。 #
- 常见转述「内在型与外在型在各篇论文里是同一组定义」:本篇的原始措辞(误述已有内容/完全脱离来源)与后续通用综述的简化措辞不逐字等价。追溯定义时要分清版本。 #
记录核查深度,不担保结论为真。
修正记录- 本页不引用该篇的具体百分比:本站未逐表核对其统计数字,只作定性陈述。
如何阅读来源注记 「书目经…核对」指作者、年份、题名与出版项已确认;不代表该来源的主张已被核对。「对照全文核实」指主张已与来源文本本身比对。 定义版本:2026-09-20。
- [1] Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of ACL 2020, 1906–1919. ↩
- [2] Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of ACL 2020, 1906–1919.
新书架开架时通知我
开架通知只在新书架开架或阅读规则变更时寄出。