過去與未來
他說這種對偶可以再推下去,與過去和未來、控制和知道之間的對偶有關:過去可知而不可控,未來可控而不可知。
這句話流傳時常被當成獨立的格言;在原文裡,它接在率失真函數的說明之後,是全篇的最後一句。
一、原話與出處
出處是 1959 年的〈Coding Theorems for a Discrete Source with a Fidelity Criterion〉,刊於《IRE National Convention Record》第 7 卷第 4 部,句在全文最後一段[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163。本頁對讀重印本掃描,結語在重印本第 350 頁;原刊頁面未一手核對。。本頁對讀的是重印本,見下方出處核對。本頁只引一個短句,其餘用自己的話重述。
“we may have knowledge of the past but cannot control it”
二、這句話的原意
最後一段先講通道一側:若通道的每個輸入字母各有成本,要在平均成本不超過某值的條件下求容量,數學上是在線性不等式的約束下把互信息最大化,得到一條容量成本函數;解這個問題,在某種意義上就是替通道找一個剛好合適的信源[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163。本頁對讀重印本掃描,結語在重印本第 350 頁;原刊頁面未一手核對。。
再講信源一側,他說兩者在某種意義上對偶:求信源的率失真函數,數學上是在線性不等式的約束下把互信息最小化;解這個問題,就是替信源與容許的失真程度找一個剛好合適的通道[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163。本頁對讀重印本掃描,結語在重印本第 350 頁;原刊頁面未一手核對。。
接著他說,這種對偶可以再推下去,與過去和未來、控制和知道之間的對偶有關:我們可以知道過去,卻不能控制它;可以控制未來,卻無法知道它[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163。本頁對讀重印本掃描,結語在重印本第 350 頁;原刊頁面未一手核對。。全篇到此結束,沒有再展開。
三、落點:本庫哪個概念在講同一件事
落點是資訊理論書架的率失真理論。該節點講有損壓縮:允許失真就能壓得比熵更低,但低到哪裡有一條不可逾越的曲線。這句話接在那條曲線的求法之後,把它與通道容量的求法並列成一對,再往外推一步。
四、譜系
五、距離:延伸
這一欄判的是這句話與概念的距離,不判人。「延伸」指這句話超出了率失真理論一冊的範圍:該冊講的是曲線本身與它的用法,這句話把曲線的求法與通道容量的求法並列為對偶,再推到過去與未來。原文用的是「有關」,沒有證明這層對應。把它單獨當成人生格言引用,是另一種用法,與論文的內容無關。
距離分四級:沿用 · 延伸 · 改義 · 平行。
- 易當成獨立的人生格言:原句是一篇編碼論文的結語,前文講的是通道容量與率失真兩個問題互為對偶。
- 易讀成資訊理論證明了的結果:原文說這種對偶「可以再推下去」並「與之有關」,是全篇最後的延伸觀察,沒有證明。
- [1] Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163.