Trigpoint
律師用生成工具找判例寫進書狀,其中多件並不存在。

虛構引用

Fabricated Citations · Walters & Wilder (2023)
已對照來源本身 ✓ 機器學習 · 高危實例類 先讀:生成幻覺 先讀:忠實性與事實性 私下告訴編輯 ▸
三句講透 Walters 與 Wilder(2023)量測 ChatGPT 產生的虛構引用:格式完整逼真,而它指向的東西不存在。
危險不在它看起來不可信,在它看起來完全可信。
格式可信度與內容真實性在此徹底脫鉤,而唯一能攔住它的動作是回去查存在性。

↳ 見過反例?

成立條件
模型交來一份格式完整的書目或判例清單,你要決定能否照引時。
證據強度
實證結論;已對照來源本身
失效樣貌
把它歸入既有幻覺分類卻不說明是外推;那組分類原為有明確來源的任務而設。
虛構引用 Walters & Wilder (2023) Fabricated Citations 外殼完整,內核是空的 格式軸 模型很擅長這一軸 作者 年份 期刊 卷期 頁碼 識別碼  或  案號 法院 年份 高度規律的表面結構,可在未查詢任何資料庫的情況下取樣出來,語法完美、格式合規 實體軸 與上一軸互不蘊涵 真實引用 標題與作者皆對得上 真實但記錯 另一條曲線,不可與虛構混報 虛構引用 格式合規,實體不存在或張冠李戴 三者在外觀上完全無法區分 唯一的攔截點:拿標題與作者回實際資料庫查存在性 這一步不能委派給生成它的那個模型:生成是取樣不是查詢,它不知道自己在編 圖:trigpoint.pub
圖 1 · 兩條軸在此徹底脫鉤:上排是格式軸,書目與案號的表面結構高度規律,模型取樣得極熟練;下排是實體軸,那份東西到底存不存在。
讀者慣用的「格式即憑證」捷思在此失效,因為判斷依據與判斷對象互不蘊涵。
唯一的攔截點是回去查存在性。
機制為概念示意,刻意不標任何虛構率:該類數字須綁定研究、模型版本與時點。 放大看圖 ▸

一、發生什麼事

美國一起聯邦地院案件裡,律師把生成工具找來的判例寫進書狀,其中多件判例並不存在,法院最後處以罰款。書目與判例的格式是高度規律的表面結構:作者、年份、期刊、卷期、頁碼、識別碼,或案號、法院、年份。生成模型對這種結構取樣得極熟練:它可以在完全沒有查詢任何實際資料庫的情況下,產出語法完美、格式合規的引用字串。

於是一件事發生了:讀者與審查者慣用的「格式即憑證」捷思失效。因為判斷依據(格式是否規範)與判斷對象(那份東西是否存在)彼此獨立、互不蘊涵。這不是一個程度問題,是兩條軸完全脫鉤。

Walters 與 Wilder 2023 年刊於《Scientific Reports》的研究把這件事量了出來,而它的方法定義值得逐字留著:若能找到一份在標題與作者兩者上皆相符或近似相符的真實作品,即視該引用為真實[1]Walters, W. H., & Wilder, E. I. (2023-09-07). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, Article 14045. DOI 10.1038/s41598-023-41032-5. 書目經官方記錄核對。主張已對照全文核實。方法定義:若能找到一份在標題與作者兩者上皆相符或近似相符的真實作品,即視該引用為真實(非虛構)。。反面即為虛構。

它的數字很有名,而引用它必須連同條件一起帶:在該研究的樣本中(42 個跨學科主題、84 篇短文、636 條書目引用,量測時點為 2023 年),來自其中一個版本的引用有 55% 為虛構,來自較新版本的則為 18%[2]同篇之量測(引用時必須連同條件一起帶):在該研究的樣本中(42 個跨學科主題、84 篇短文、636 條書目引用,量測時點為 2023 年),來自其中一個版本的引用有 55% 為虛構,而來自較新版本的引用為 18%。兩個數字皆綁定該研究、該兩個模型版本與該時點,脫離條件即為過度概括。。兩個數字都綁定那個研究、那兩個模型版本與那個時點。脫離這些條件去講「虛構率是多少」,本身就是一次過度概括。

它還做了一個容易被忽略的區分[3]同篇之另一項獨立量測:真實引用之中仍有實質性引用錯誤;該比率只以真實引用為分母,與虛構率分開計算,不可混報。:虛構率與「真實引用之中的錯誤率」是兩條獨立曲線。一份真實存在的文獻被記錯年份或頁碼,跟一份不存在的文獻被生成出來,不是同一件事,也不該合併報告。

司法場景有一個代價明確的實例:2023 年美國一起聯邦地院案件,律師用生成工具查找判例,寫進一份反對被告駁回起訴動議的書狀,其中引用多件不存在的判例;法院認定其行為構成規則下之主觀惡意並處連帶罰款[4]司法場景實例:一起 2023 年美國聯邦地院案件,律師用生成工具查找判例,寫進一份反對被告駁回起訴動議的書狀,其中引用多件不存在的判例;法院認定其行為構成聯邦民事訴訟規則第 11 條下之主觀惡意,對相關律師與律所處連帶罰款。本站不列出那些虛構案名,判決書正文逐一列有。。本站不列出那些虛構案名,判決書正文逐一列有,要核對請回原文[5]案件細節:案號、罰款金額(5,000 美元)、判決日期與書狀性質已對照判決書正文核對;判決報告之卷頁引註依多個公開書目一致。。這個處置本身就是本頁在講的那件事:一筆引用在不在,回原文查。

署名要給對:虛構率之實證量測與方法定義歸 Walters 與 Wilder,見 2023 年刊於 Scientific Reports 之〈Fabrication and errors in the bibliographic citations generated by ChatGPT〉[1]Walters, W. H., & Wilder, E. I. (2023-09-07). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, Article 14045. DOI 10.1038/s41598-023-41032-5. 書目經官方記錄核對。主張已對照全文核實。方法定義:若能找到一份在標題與作者兩者上皆相符或近似相符的真實作品,即視該引用為真實(非虛構)。[2]同篇之量測(引用時必須連同條件一起帶):在該研究的樣本中(42 個跨學科主題、84 篇短文、636 條書目引用,量測時點為 2023 年),來自其中一個版本的引用有 55% 為虛構,而來自較新版本的引用為 18%。兩個數字皆綁定該研究、該兩個模型版本與該時點,脫離條件即為過度概括。。

二、為什麼這對你重要

本頁是本書架各頁的收束點:一個系統的可信度,不能建立在它看起來對。

你會遇到的形態很具體。你請模型幫你找支持某個說法的文獻,它回你五筆,格式整齊、有識別碼、有頁碼。其中三筆真的存在,一筆存在但作者被換了,一筆完全不存在。而這五筆從外觀上完全無法區分。

所以要做的事只有一件,而且沒有替代方案:回去查存在性。 不是查格式對不對,是拿標題與作者去實際的資料庫找那份東西在不在。這一步無法委派給生成它的那個模型,因為它的生成過程是取樣不是查詢:它不知道自己在編。

三個可以直接落成規矩的動作。

第一,把「有沒有這份東西」與「這份東西有沒有說這句話」分成兩個獨立的檢查。 前者是存在性,後者是「忠實性與事實性」那條忠實軸。兩者都可能單獨失敗。

第二,引用任何比率都綁條件。 哪個研究、哪個模型版本、哪個時間點。這條規矩看起來瑣碎,但它擋掉的是一種典型的二次傳播錯誤:一個 2023 年的數字被拿去描述今天。

第三,核到哪一層就說到哪一層。 這是本站的做法,也是本頁在示範的:每一條來源都標明核到書目、摘要還是全文,沒核到的不寫成核過。標得低會讓頁面看起來「不夠完整」,而那正是誠實的形狀。

驗證層 · 會員
這個節點的導讀公開閱讀。
驗證細節與失效邊界屬會員版。
平均每月 US$8.25 · 亦可按月訂閱 ▸

Lab 實測 有實測才寫

本節點暫無實測。

常見誤讀

所屬頁核驗:已對照來源本身 ✓ · 內容最後修訂 2026-11-16 · 修正記錄 ↓

  • 常見轉述「這是引用錯誤的一種」:不是。真實文獻但年份或頁碼記錯,與那份文獻根本不存在,是兩個範疇。原研究把兩者分開量測,兩條曲線不可混報。 #
  • 常見轉述「模型在說謊」:無意圖可言。這是取樣機制的結構性副作用,模型不知道自己在編。把它框成故意欺騙是擬人化誤讀,也會讓人去修錯的東西。 #
  • 常見轉述「某個研究說虛構率是 X」:虛構率隨模型與版本劇烈變動。引用任何數字都必須綁定哪個研究、哪個模型版本、哪個時間點,否則構成脫離情境的過度概括。 #
驗證紀錄

記錄核查深度,不擔保結論為真。

修正記錄
  • 2026-10-25 · 本頁開架前更正兩處,皆已對照判決書正文。其一,前版說律師以生成工具撰寫的是一份動議;實為反對被告駁回起訴動議的書狀。其二,前版說虛構案名只見於搜尋摘要、法院原文全文未能取得,案件細節因此標為次級;判決書正文已對讀,案名在其中逐一列明,本頁仍不列出。
參考文獻

如何閱讀來源註記 「書目經…核對」指作者、年份、題名與出版項已確認;不代表該來源的主張已被核對。「對照全文核實」指主張已與來源文本本身比對。 定義版本:2026-09-20。

  1. [1] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. DOI 10.1038/s41598-023-41032-5. ↩
  2. [2] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. DOI 10.1038/s41598-023-41032-5.
  3. [3] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. DOI 10.1038/s41598-023-41032-5.
  4. [4] Mata v. Avianca, Inc., 678 F. Supp. 3d 443 (S.D.N.Y. 2023), No. 1:22-cv-01461 (PKC), Opinion and Order on Sanctions (22 June 2023). 書目經多源交叉核對。主張已對照全文核實。
  5. [5] Mata v. Avianca, Inc., 678 F. Supp. 3d 443 (S.D.N.Y. 2023), No. 1:22-cv-01461 (PKC), Opinion and Order on Sanctions (22 June 2023).

↳ 引註有誤?

新書架開架時通知我

新書架開架時通知我

開架通知只在新書架開架或閱讀規則變更時寄出。

試行

私下告訴編輯:更正、反例或適用性

提交只供編輯閱讀,處理前不公開;處理後,編輯撰寫的摘要與回應才會刊出。提交毋須註冊,暱稱可留空。

你想提交的是
設定公開名稱後,可選擇以名稱致謝 ▸
不登入,直接匿名提交

登入後可在「我的」頁追蹤處理狀態。你寫的內容會保留。

你已登入:本件會連結到你的帳號,只有你和編輯看得到,方便你在「我的」頁追蹤狀態。原文不會公開。 完整私隱政策 ▸

不連到帳號,改為匿名提交 ▸

不收集電郵。你的原文與暱稱只供編輯閱讀,不會公開;站上只刊載編輯撰寫的摘要。真人驗證由 Cloudflare Turnstile 提供;為限制濫用,系統只保存 IP 的雜湊值,不保存明文 IP。原文保存於我們的雲端服務商,可應要求刪除。 完整私隱政策 ▸