Trigpoint
人物 › Shannon Shannon › 過去與未來
「一句人生格言」:它是一篇編碼論文的結語。

過去與未來

“we may have knowledge of the past but cannot control it” · Shannon (1959)
出處 · 一手已核 ✓ 言說溯源 · Shannon 距離 · 延伸
三句講透 1959 年那篇率失真論文的最後一段,把兩個問題並列為對偶:替通道找最合適的信源,與替信源找最合適的通道。
他說這種對偶可以再推下去,與過去和未來、控制和知道之間的對偶有關:過去可知而不可控,未來可控而不可知。
這句話流傳時常被當成獨立的格言;在原文裡,它接在率失真函數的說明之後,是全篇的最後一句。

一、原話與出處

出處是 1959 年的〈Coding Theorems for a Discrete Source with a Fidelity Criterion〉,刊於《IRE National Convention Record》第 7 卷第 4 部,句在全文最後一段[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163。本頁對讀重印本掃描,結語在重印本第 350 頁;原刊頁面未一手核對。。本頁對讀的是重印本,見下方出處核對。本頁只引一個短句,其餘用自己的話重述。

“we may have knowledge of the past but cannot control it”

二、這句話的原意

最後一段先講通道一側:若通道的每個輸入字母各有成本,要在平均成本不超過某值的條件下求容量,數學上是在線性不等式的約束下把互信息最大化,得到一條容量成本函數;解這個問題,在某種意義上就是替通道找一個剛好合適的信源[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163。本頁對讀重印本掃描,結語在重印本第 350 頁;原刊頁面未一手核對。。

再講信源一側,他說兩者在某種意義上對偶:求信源的率失真函數,數學上是在線性不等式的約束下把互信息最小化;解這個問題,就是替信源與容許的失真程度找一個剛好合適的通道[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163。本頁對讀重印本掃描,結語在重印本第 350 頁;原刊頁面未一手核對。。

接著他說,這種對偶可以再推下去,與過去和未來、控制和知道之間的對偶有關:我們可以知道過去,卻不能控制它;可以控制未來,卻無法知道它[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163。本頁對讀重印本掃描,結語在重印本第 350 頁;原刊頁面未一手核對。。全篇到此結束,沒有再展開。

三、落點:本庫哪個概念在講同一件事

落點是資訊理論書架的率失真理論。該節點講有損壓縮:允許失真就能壓得比熵更低,但低到哪裡有一條不可逾越的曲線。這句話接在那條曲線的求法之後,把它與通道容量的求法並列成一對,再往外推一步。

四、譜系

先後要排對:率失真的概念,在 1948 年那篇的末段已就連續來源提出;1959 年這篇給出離散來源的完整表述(詳見率失真理論節點)。過去與未來這一句只出現在 1959 年這篇的結語,本頁不主張它另有更早的出處,也不追溯後來的轉引鏈。

五、距離:延伸

這一欄判的是這句話與概念的距離,不判人。「延伸」指這句話超出了率失真理論一冊的範圍:該冊講的是曲線本身與它的用法,這句話把曲線的求法與通道容量的求法並列為對偶,再推到過去與未來。原文用的是「有關」,沒有證明這層對應。把它單獨當成人生格言引用,是另一種用法,與論文的內容無關。

距離分四級:沿用 · 延伸 · 改義 · 平行。

驗證層 · 會員
這個節點的導讀公開閱讀。
驗證細節與失效邊界屬會員版。
平均每月 US$8.25 · 亦可按月訂閱 ▸
常見誤讀
  • 易當成獨立的人生格言:原句是一篇編碼論文的結語,前文講的是通道容量與率失真兩個問題互為對偶。
  • 易讀成資訊理論證明了的結果:原文說這種對偶「可以再推下去」並「與之有關」,是全篇最後的延伸觀察,沒有證明。
參考文獻
  1. [1] Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163.