Trigpoint
人物 › Shannon
人物 PERSON

Shannon

Claude E. Shannon · 言說溯源
「這句是 Shannon 說的」:先看他限定的是哪一個問題。
8 個概念 3 則言說 · 落點 1 個書架 出處層級逐則標示
↓ 跳到概念與言說

美國電機工程學者(1916 至 2001),1941 至 1972 年任職貝爾實驗室,其後長期任 MIT 電機工程教授。

本庫資訊理論架有八冊以他為提出者,列在下方概念一欄。這裡另收他三則常被引用的公開言說:每則先標出處核到哪一層,再連到本庫已有的概念節點;概念本身,到該節點讀。

思想脈絡

本頁三則一手言說,前後相隔十一年。1948 年,他在論文引言先把問題界定為重現另一處選出的訊息,並把訊息的意義放到工程問題之外。1956 年,這套理論已被帶進生物、心理、語言、物理、經濟等領域,他在學報社論說,確立這類應用不是把詞語搬過去,而要經過假設與實驗驗證。1959 年,他在率失真論文的結語,把替通道找信源與替信源找通道兩個問題並列為對偶,說這種對偶與過去和未來有關,沒有再展開。第一則劃定理論處理甚麼,第二則限定理論帶到別處時要先證明甚麼,第三則是他在結尾往外推的一步,原文只說「有關」。三則依序落在資訊理論書架的第一段、最後一段與講壓縮的第三段。本段只就本頁所收的言說整理。

先讀:通訊的基本問題 ▸

Shannon
人像:Photo: unknown photographer. Tekniska museet (Sweden), item 43069, via Flickr. Via Wikimedia Commons, CC BY 2.0. (cropped)

概念與言說

先列本庫以此人為出處的概念,再按出處層級列其公開言說
№ 01§ 提出的概念本庫以此人為出處的概念,按書架順序排列
01
02

資訊量

Self-Information

同一件事的資訊量,要按知情者還是局外人的機率算?

03
04
05
06
07
08
№ 02§ 一手:他自己說的段內序:1948 年論文 → 1956 年學報社論 → 1959 年論文結語;三則都對讀過他本人的文字(1959 年一則為重印本)
09

通訊的基本問題

論文〈A Mathematical Theory of Communication〉,《Bell System Technical Journal》第 27 卷第 3 期(1948 年 7 月),第 379 頁

論文引言界定通訊的基本問題:在一處準確或近似地重現另一處選出的訊息。他隨即承認訊息常有意義,但說語義層面與工程問題無關;要處理的是訊息從一組可能訊息中被選出。這段話常被讀成「意義不重要」,原文只限定在工程問題。

出處 · 一手已核落點 ▸ 資訊與不確定性距離 · 沿用
10

把詞語搬過去不算數

社論〈The Bandwagon〉,《IRE Transactions on Information Theory》IT-2 卷第 1 期(1956),第 3 頁

理論發表八年後,他在學報社論說這門學問成了一輛科學花車,被帶進生物、心理、語言、物理、經濟等領域。他相信不少概念在這些領域會有用,但確立應用不是把詞語搬到新領域,而要經過假設與實驗驗證。

11

過去與未來

論文〈Coding Theorems for a Discrete Source with a Fidelity Criterion〉,《IRE National Convention Record》第 7 卷第 4 部(1959),第 142–163 頁

這句話常被單獨當作格言引用。它是 1959 年那篇率失真論文的最後一段:他把「替通道找合適的信源」與「替信源找合適的通道」兩個問題並列為對偶,說這種對偶可以推到過去與未來、控制與知道之間。

出處 · 一手已核落點 ▸ 率失真理論距離 · 延伸
常見錯歸

常見轉述:von Neumann 建議他把這個量叫做熵,理由是沒有人真正知道熵是甚麼。這段話最常被引的出處,是 1971 年一篇科普文章裡的個人回憶。1982 年的口述歷史訪談中,訪問者問及此事,他先答不認為有,稍後說相當確定此事不曾發生在他與 von Neumann 之間。本頁不收此句;詳見「熵」一冊。

噪音下的容量公式常被歸給 Hartley 1928。該篇先假設沒有外來干擾,談的是可區分選擇的數目,未以訊號對噪音的比值立式;噪音下的容量出自他 1948 年那篇的定理 17,1949 年那篇給出幾何證明。詳見「通道與容量」一冊。