Trigpoint
Collections 書架 › Information Theory 資訊理論
書架 SHELF

資訊理論

Information Theory · 量度自己工作流的那把尺
所屬學科:應用數學
「資訊理論是通訊工程師的數學」:錯在結構。
12 冊 · 8 個實測 全部來源:書目已核 ✓
↓ 跳到節點清單

你每天都在一條有限、有噪音的通道上工作:把一件事說到對方能還原。你有直覺,但沒有尺;這裡是那把尺。

節點序列

建議閱讀次序 · 先定死這個詞、它為什麼會走樣、怎麼把它縮小、用什麼量度相關與錯、誰在承受這些限制
№ 01§ 先把「資訊」這個詞定死段內序:定義(不是內容)→ 單一事件怎麼量 → 整個系統怎麼量
01

資訊與不確定性

Information and Uncertainty · Shannon (1948) / Hartley (1928)

資訊不是內容,是不確定性的削減量。

約 4 分鐘
02

資訊量

Self-Information · Shannon (1948) / Samson (1951)

一件事帶多少資訊,取決於它原本有多不可能發生。

約 4 分鐘
03

熵

Entropy · Shannon (1948)

熵不是混亂,是不可預測性的量化。

約 5 分鐘
№ 02§ 它為什麼會走樣:噪音與容量段內序:先分辨什麼是噪音 → 再認識通道本身的硬上限
04

訊號與噪音

Signal and Noise · Shannon (1948)

訊號是能穩定降低不確定性的那部分輸入,其餘是噪音。

Lab 實測 ×2約 4 分鐘
05

通道與容量

Channel and Capacity · Shannon (1948, 1949)

通道是任何讓資訊流動的載體,不只是電線與無線電,也包括語言、注意力與記憶。

Lab 實測 ×2約 5 分鐘
№ 03§ 怎麼把它縮小:壓縮的三條極限段內序:無損(地板在哪)→ 有損(願意付多少失真)→ 個體(不用機率的第二條路)
06

編碼與壓縮

Coding and Compression · Shannon (1948) / Fano (1949) / Huffman (1952)

壓縮不是刪內容,是換一種更短的方式表示同樣的內容。

Lab 實測 ×2約 5 分鐘
07

率失真理論

Rate-Distortion Theory · Shannon (1959) / Berger (1971)

允許失真,就能壓得比熵更低,但低到哪裡有一條不可逾越的曲線。

約 5 分鐘
08

演算法資訊觀

Algorithmic Information Theory · Solomonoff (1964) / Kolmogorov (1965) / Chaitin (1966)

除了 Shannon 那條路,資訊還有第二個定義:一段東西的資訊量,是能生成它的最短程式長度。

約 5 分鐘
№ 04§ 用什麼量度「相關」與「錯」段內序:兩者共享多少 → 假設錯了要付多少
09

互信息

Mutual Information · Shannon (1948) / Fano (1961)

互信息量的是:知道其中一個之後,另一個的不確定性少了多少。

約 4 分鐘
10

相對熵

Kullback-Leibler Divergence · Kullback & Leibler (1951)

這個量回答一個很實際的問題:你用錯的模型去編碼真實的資料,每一筆平均要多付多少。

約 5 分鐘
№ 05§ 誰在承受這些限制段內序:人 → 物理。本段同時是全架誠實層錨點:我們做的正是這套理論的創立者警告過的跨域外推,所以把警告一併印出
11

資訊理論與認知科學

Information Theory and Cognitive Science · Miller (1956) / Bartlett (1932) / Simon (1955)

心智是一個在容量限制與噪音下運作的資訊處理系統。

約 5 分鐘
12

資訊理論與熱力學

Information Theory and Thermodynamics · Szilárd (1929) / Landauer (1961) / Bennett (1973)

資訊不是純粹的抽象。

Lab 實測 ×2約 5 分鐘

讀完這一架

把十二頁並排,本書架另整理出三點。三點都不是任何一份文獻的原話。

第一點,這些量度量出來的數,要先指定一個參照才有內容。十二頁當中有八頁各自寫到一種參照。機率是誰的,見「資訊與不確定性」「資訊量」「熵」。拿這段輸入回答哪一個判斷,見「訊號與噪音」。接收端本來已經知道什麼,見「編碼與壓縮」。哪一種損失可以接受,見「率失真理論」。在什麼噪音條件下,見「通道與容量」。從哪一個方向看,見「相對熵」。參照沒有寫明時,「這份材料資訊量大」「那些都是噪音」「這樣壓得比較好」「這個管道容量較大」一類比較句,按各頁的說法沒有內容,也無從仲裁。

第二點,有五頁寫到同一種失敗形態。傳輸超過容量、壓縮過頭、脈絡被稀釋、記憶在重建時走樣,都不會產生錯誤訊息,接收的一方照樣給出看來合理的回應。見「通道與容量」「編碼與壓縮」「率失真理論」「訊號與噪音」「資訊理論與認知科學」。

第三點,有四頁寫明,實際做得到的與理論上的界線有距離。容量與率失真曲線都要很長的碼塊才逼近,短訊息與即時場合一般達不到。最短程式長度不可計算,只能從上方估計。擦除的耗熱下界遠低於實際硬體的能耗。見「通道與容量」「率失真理論」「演算法資訊觀」「資訊理論與熱力學」。

本書架據此整理出三項做法。使用這些量度之前,先寫下參照:對誰、對哪一個判斷、允許損失什麼。這類失敗事後不會自己顯現,防線要放在事前,例如先決定對方只還原得了一半時要保住哪一半。這些界線適合用來判斷某個宣稱是否越界,不宜拿來當作應該達到的目標值。

一段內容是對是錯,本書架的量度答不了。「資訊與不確定性」與「資訊量」兩頁寫明,資訊量高只代表出乎意料,判斷對錯要換別的工具。「互信息」寫明,它只說兩件事有關,不說誰影響誰;處理方向的那一族含時序的量度,本書架未收。

資訊熵與熱力學熵在什麼意義上是同一回事,「熵」與「資訊理論與熱力學」兩頁都並陳兩種立場,沒有裁定。擦除必然耗熱這條原理的一般性證明是否成立,「資訊理論與熱力學」同樣並陳而不裁。

人一次能可靠處理多少,本書架不給數字。「資訊理論與認知科學」寫明那個通行的數字不是定論,並刻意不採用任何具體數值;該頁所引的研究到 2024 年仍把容量上限怎樣評估列為爭議問題。

「誰在承受這些限制」一段的說明已寫明,該段兩頁做的是跨域外推。另有四頁在其他各段,同樣把自己用到人的溝通、判斷或治理上的部分標為類比:「通道與容量」「率失真理論」「演算法資訊觀」「相對熵」。六頁的說法一致:可以借用結構去提問,不能借用數值結論。

各頁查核到哪一層並不相同,已逐頁標明。其中「資訊與不確定性」與「訊號與噪音」兩頁的框架陳述只核到學科層,沒有逐句對回一手文獻。

自讀 · 理論層

理論層全部在此,不需帳號;讀完即走。

Trigpoint Pass · 應用層

案例層(我們自己把容量、訊噪與壓縮紀律裝進治理規矩的實測,含它先超載過一次的紀錄)+ 多數節點的完整驗證層(來源核到哪一層、反例與失效邊界)。

Trigpoint Pass ▸

新書架開架時通知我

新書架開架時通知我

開架通知只在新書架開架或閱讀規則變更時寄出。