Trigpoint
Collections 書架 › Information Theory 資訊理論 › Information and Uncertainty 資訊與不確定性
「資訊就是內容」:是兩回事。

資訊與不確定性

Information and Uncertainty · Shannon (1948) / Hartley (1928)
已對照來源本身 ✓ 資訊理論 · 基本定義 私下告訴編輯 ▸
三句講透 資訊不是內容,是不確定性的削減量。
一件事帶多少資訊,取決於它排除掉多少原本可能發生的情況,而不是它講了多長、多深、多重要。
所以「資訊量」與「有沒有意義」是兩把不同的尺,量出來的東西互不決定。

↳ 見過反例?

資訊與不確定性 Shannon (1948) · Hartley (1928) Information and Uncertainty 資訊 = 被排除掉的那一份 機制 可能性空間 尚未揭曉 事件發生 其中一個成真 其餘被排除 可能性收窄 資訊出現 量 = 被排除的份量 兩軸互不決定 資訊量高 資訊量低 意義低 意義高 出乎意料而全錯的斷言 排除很多,卻不值得信 出乎意料而正確的判斷 兩軸同時高,最稀有 冗長而可預測的覆述 字數不等於資訊 眾所周知的重要事實 有意義,但沒排除什麼 四格為概念定位示意,非量測結果:本圖不含座標值、比例或任何數量宣稱。 圖:trigpoint.pub
圖 1 · 資訊出現的機制示意:先有一個可能性空間,事件發生後排除掉其中一部分,被排除的份量就是資訊。
下方兩軸說明同一句話可以在資訊量與意義上落在完全不同的位置,兩軸互不決定。 放大看圖 ▸

一、發生什麼事

Shannon 1948 年的奠基論文開宗明義做了一件現在看來仍然反直覺的事:它把「意義」從問題裡拿掉[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 書目經官方記錄核對。主張已對照全文核實。出處經跨模型雙查核實。引言處明文把語義問題排除在工程問題之外:通訊的語義層面與工程問題無關。。原文說得很直接,通訊的語義層面與工程問題無關。這不是迴避,是劃界:要讓資訊變成可計算、可傳輸、可比較的量,就必須先放棄追問它在說什麼。隔年出版的《The Mathematical Theory of Communication》收入 Weaver 的導論,把通訊問題分成技術、語義、效果三層,並承認這套理論表面上只適用於第一層;不過他同時主張,它對另兩層也有幫助與啟發[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 書目經出版社記錄核對。主張已對照全文核實。出處經跨模型雙查核實。Weaver 導論把通訊問題分為技術、語義、效果三層;他承認這套數學理論表面上只適用於第一層,同時主張它對另兩層也有幫助與啟發。。

拿掉意義之後,剩下什麼可以量?剩下可能性的排除。設想一個尚未揭曉的局面,它有一組可能的結果;當其中一個成真,其餘全部被排除,而被排除的份量就是這件事帶來的資訊。這個定義有個立刻可驗的後果:同一句話在不同處境下的資訊量不同。對已經知道明天下雨的人,「明天會下雨」幾乎不帶資訊;對所有預報都說晴天的人,同一句話資訊量極高。變的不是句子,是它排除掉的東西。

再往前一步就分出兩個層級。單一事件排除了多少,是那個事件的資訊量;整個局面平均而言有多難猜,是這個系統的熵。兩者常被混為一談,但它們回答的是不同的問題:一個問「這次揭曉讓我知道了多少」,一個問「揭曉之前我有多不確定」。本站接下來兩頁分別處理。

對數結構的雛形其實更早。Hartley 1928 年的論文把訊息量與可區分狀態的數量連起來,替後來的形式化鋪了路[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 書目經官方記錄核對。主張已對照全文核實。以可區分狀態的計數建立資訊的對數結構雛形。該篇明言先假設沒有外來干擾,不含噪音功率下的容量;把後者歸給 Hartley 是引註訛傳(見本站「通道與容量」頁)。。要注意它處理的是無噪音情形,把噪音下的容量歸給它是後來才產生的引註訛傳。

署名要給對:對數結構的雛形歸 Hartley(1928),但他處理的是無噪音情形的狀態計數,不含噪音下的容量[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 書目經官方記錄核對。主張已對照全文核實。以可區分狀態的計數建立資訊的對數結構雛形。該篇明言先假設沒有外來干擾,不含噪音功率下的容量;把後者歸給 Hartley 是引註訛傳(見本站「通道與容量」頁)。。把資訊定義為不確定性的削減、並明文把語義排除在工程問題之外的,是 Shannon(1948)[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 書目經官方記錄核對。主張已對照全文核實。出處經跨模型雙查核實。引言處明文把語義問題排除在工程問題之外:通訊的語義層面與工程問題無關。。技術、語義、效果三層的分法出自 Weaver 為 1949 年的《The Mathematical Theory of Communication》所寫的導論,不是 Shannon 本人的原文;Weaver 也沒有把理論限在第一層,他主張它對另兩層同樣有幫助[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 書目經出版社記錄核對。主張已對照全文核實。出處經跨模型雙查核實。Weaver 導論把通訊問題分為技術、語義、效果三層;他承認這套數學理論表面上只適用於第一層,同時主張它對另兩層也有幫助與啟發。。三者要分開署名:壓成「Shannon 提出資訊理論並區分了三個層次」會同時弄錯雛形出處與三層分法的作者。

二、為什麼這對你重要

你每天都在用「資訊」這個詞,但用的是它的日常語感:資訊多=講得多、講得細、講得專業。這套理論說那是另一回事,而這個差別會直接改變你怎麼判斷手上的東西。

一份三千字的會議紀錄,如果它記下的全部是你事前就能預測的內容,那它的資訊量接近零,儘管它的字數不是。一份模型輸出讀起來條理分明、術語齊備,也可能因為它只是把你的提問重新排列而幾乎沒有排除任何可能性。判斷的問題不該是「這段內容夠不夠豐富」,而是「它排除了什麼我原本以為可能的東西」。前一個問題沒有答案,後一個有。

這條界線還有一個更難接受的推論:資訊量高不代表對。一句斷言越是出乎意料,它排除的可能性越多,資訊量就越高,而它是否為真完全是另一把尺的事。模型給出一個大膽而具體的判斷,它在這套理論下確實是高資訊量的輸出,這件事本身不構成任何相信它的理由。把兩把尺分開,是使用這套語言的第一個代價,也是它給你的第一個好處。

反例與失效邊界

第一個邊界,也是最重要的一個:這套定義不是一個關於「什麼是資訊」的哲學主張。它是一個為了讓量化可行而做的取捨。放棄語義換來的是可計算,代價是這套理論對「這句話在說什麼」永遠沉默。拿它去論證意義不重要,是把一個工程學上的劃界誤讀成本體論的判斷。

第二個邊界是機率從哪裡來。「排除了多少可能性」預設你已經有一個可能性空間與一組機率。現實裡這組機率往往是你自己的預期,不是客觀頻率,於是同一件事對不同的人資訊量不同,而且無法互相仲裁。這不是理論的缺陷,是它的適用條件:先確定機率是誰的,量出來的數才有意義。

第三個是最常見的實務誤用:拿它當內容品質的量尺。資訊量與正確性正交,與重要性也正交。一個系統可以穩定產出高資訊量而全錯的輸出,這在本理論下不構成矛盾。要判斷對錯與輕重,得換別的工具。

Lab 實測 有實測才寫

本節點暫無實測。

常見誤讀

所屬頁核驗:已對照來源本身 ✓ · 內容最後修訂 2026-11-14

  • 常見轉述「資訊量高代表內容有價值」:兩者是獨立的兩軸。一句完全錯誤的話可以有極高資訊量,一句極有意義的話也可以幾乎沒有資訊量。本理論只量前者,對後者不發一言。 #
  • 常見轉述「Hartley 提出了資訊的容量公式」:Hartley 1928 給的是無噪音情形下可區分狀態的計數,不是噪音功率下的容量。後者屬 Shannon 1948 年的論文。這條訛傳有流傳,本站另有專頁處理。 #
驗證紀錄

記錄核查深度,不擔保結論為真。

核查經過

先講本頁的考據結構,因為它與本書架其他頁不同。

本頁的框架陳述(資訊是不確定性的削減,且與意義正交),在 2026 年 6 月一次跨模型查證中屬於被判為已定教科書典律的一類:兩個模型都掃過這個概念群,第二個模型的深度覆核則集中在該輪標為有爭議的出處上,沒有逐條回到本頁這條框架陳述。換句話說,這條陳述的驗證是學科層的,不是逐句一手核對的。我們照直說,因為同一輪查證裡,第一階段確實出過兩次出處錯誤,都是第二階段抓回來的。

本頁引用的具體出處則另有較強的依據。Shannon 1948 年論文的出處三件(期刊、卷期、DOI)與 1949 年的《The Mathematical Theory of Communication》作為錨點,皆經該輪的跨模型深度核對確認[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 書目經官方記錄核對。主張已對照全文核實。出處經跨模型雙查核實。引言處明文把語義問題排除在工程問題之外:通訊的語義層面與工程問題無關。[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 書目經出版社記錄核對。主張已對照全文核實。出處經跨模型雙查核實。Weaver 導論把通訊問題分為技術、語義、效果三層;他承認這套數學理論表面上只適用於第一層,同時主張它對另兩層也有幫助與啟發。。Hartley 1928 年論文的出處與其範圍限定同樣經深度核對:它給的是無噪音情形下的狀態計數,不是噪音下的容量[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 書目經官方記錄核對。主張已對照全文核實。以可區分狀態的計數建立資訊的對數結構雛形。該篇明言先假設沒有外來干擾,不含噪音功率下的容量;把後者歸給 Hartley 是引註訛傳(見本站「通道與容量」頁)。。其後本站另把三處出處對照原文重讀:Shannon 1948 引言的語義排除句、Hartley 1928 先假設沒有外來干擾的段落,以及 Weaver 導論的三層分法與他對適用範圍的說法[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 書目經官方記錄核對。主張已對照全文核實。出處經跨模型雙查核實。引言處明文把語義問題排除在工程問題之外:通訊的語義層面與工程問題無關。[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 書目經官方記錄核對。主張已對照全文核實。以可區分狀態的計數建立資訊的對數結構雛形。該篇明言先假設沒有外來干擾,不含噪音功率下的容量;把後者歸給 Hartley 是引註訛傳(見本站「通道與容量」頁)。[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 書目經出版社記錄核對。主張已對照全文核實。出處經跨模型雙查核實。Weaver 導論把通訊問題分為技術、語義、效果三層;他承認這套數學理論表面上只適用於第一層,同時主張它對另兩層也有幫助與啟發。。

殘餘一項:本頁把控制論路線視為同期的平行發展,這一點屬於通史敘述,本站未對其出處另做核對,故正文不作具體歸屬,也不列入參考文獻。

參考文獻

如何閱讀來源註記 「書目經…核對」指作者、年份、題名與出版項已確認;不代表該來源的主張已被核對。「對照全文核實」指主張已與來源文本本身比對。 定義版本:2026-09-20。

  1. [1] Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. ↩
  2. [2] Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. ↩
  3. [3] Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. University of Illinois Press. ↩

↳ 引註有誤?

新書架開架時通知我

新書架開架時通知我

開架通知只在新書架開架或閱讀規則變更時寄出。

試行

私下告訴編輯:更正、反例或適用性

提交只供編輯閱讀,處理前不公開;處理後,編輯撰寫的摘要與回應才會刊出。提交毋須註冊,暱稱可留空。

你想提交的是
設定公開名稱後,可選擇以名稱致謝 ▸
不登入,直接匿名提交

登入後可在「我的」頁追蹤處理狀態。你寫的內容會保留。

你已登入:本件會連結到你的帳號,只有你和編輯看得到,方便你在「我的」頁追蹤狀態。原文不會公開。 完整私隱政策 ▸

不連到帳號,改為匿名提交 ▸

不收集電郵。你的原文與暱稱只供編輯閱讀,不會公開;站上只刊載編輯撰寫的摘要。真人驗證由 Cloudflare Turnstile 提供;為限制濫用,系統只保存 IP 的雜湊值,不保存明文 IP。原文保存於我們的雲端服務商,可應要求刪除。 完整私隱政策 ▸