資訊與不確定性
資訊不是內容,是不確定性的削減量。
你每天都在一條有限、有噪音的通道上工作:把一件事說到對方能還原。你有直覺,但沒有尺;這裡是那把尺。
資訊不是內容,是不確定性的削減量。
一件事帶多少資訊,取決於它原本有多不可能發生。
熵不是混亂,是不可預測性的量化。
訊號是能穩定降低不確定性的那部分輸入,其餘是噪音。
通道是任何讓資訊流動的載體,不只是電線與無線電,也包括語言、注意力與記憶。
壓縮不是刪內容,是換一種更短的方式表示同樣的內容。
允許失真,就能壓得比熵更低,但低到哪裡有一條不可逾越的曲線。
除了 Shannon 那條路,資訊還有第二個定義:一段東西的資訊量,是能生成它的最短程式長度。
互信息量的是:知道其中一個之後,另一個的不確定性少了多少。
這個量回答一個很實際的問題:你用錯的模型去編碼真實的資料,每一筆平均要多付多少。
心智是一個在容量限制與噪音下運作的資訊處理系統。
資訊不是純粹的抽象。
把十二頁並排,本書架另整理出三點。三點都不是任何一份文獻的原話。
第一點,這些量度量出來的數,要先指定一個參照才有內容。十二頁當中有八頁各自寫到一種參照。機率是誰的,見「資訊與不確定性」「資訊量」「熵」。拿這段輸入回答哪一個判斷,見「訊號與噪音」。接收端本來已經知道什麼,見「編碼與壓縮」。哪一種損失可以接受,見「率失真理論」。在什麼噪音條件下,見「通道與容量」。從哪一個方向看,見「相對熵」。參照沒有寫明時,「這份材料資訊量大」「那些都是噪音」「這樣壓得比較好」「這個管道容量較大」一類比較句,按各頁的說法沒有內容,也無從仲裁。
第二點,有五頁寫到同一種失敗形態。傳輸超過容量、壓縮過頭、脈絡被稀釋、記憶在重建時走樣,都不會產生錯誤訊息,接收的一方照樣給出看來合理的回應。見「通道與容量」「編碼與壓縮」「率失真理論」「訊號與噪音」「資訊理論與認知科學」。
第三點,有四頁寫明,實際做得到的與理論上的界線有距離。容量與率失真曲線都要很長的碼塊才逼近,短訊息與即時場合一般達不到。最短程式長度不可計算,只能從上方估計。擦除的耗熱下界遠低於實際硬體的能耗。見「通道與容量」「率失真理論」「演算法資訊觀」「資訊理論與熱力學」。
本書架據此整理出三項做法。使用這些量度之前,先寫下參照:對誰、對哪一個判斷、允許損失什麼。這類失敗事後不會自己顯現,防線要放在事前,例如先決定對方只還原得了一半時要保住哪一半。這些界線適合用來判斷某個宣稱是否越界,不宜拿來當作應該達到的目標值。
一段內容是對是錯,本書架的量度答不了。「資訊與不確定性」與「資訊量」兩頁寫明,資訊量高只代表出乎意料,判斷對錯要換別的工具。「互信息」寫明,它只說兩件事有關,不說誰影響誰;處理方向的那一族含時序的量度,本書架未收。
資訊熵與熱力學熵在什麼意義上是同一回事,「熵」與「資訊理論與熱力學」兩頁都並陳兩種立場,沒有裁定。擦除必然耗熱這條原理的一般性證明是否成立,「資訊理論與熱力學」同樣並陳而不裁。
人一次能可靠處理多少,本書架不給數字。「資訊理論與認知科學」寫明那個通行的數字不是定論,並刻意不採用任何具體數值;該頁所引的研究到 2024 年仍把容量上限怎樣評估列為爭議問題。
「誰在承受這些限制」一段的說明已寫明,該段兩頁做的是跨域外推。另有四頁在其他各段,同樣把自己用到人的溝通、判斷或治理上的部分標為類比:「通道與容量」「率失真理論」「演算法資訊觀」「相對熵」。六頁的說法一致:可以借用結構去提問,不能借用數值結論。
各頁查核到哪一層並不相同,已逐頁標明。其中「資訊與不確定性」與「訊號與噪音」兩頁的框架陳述只核到學科層,沒有逐句對回一手文獻。
開架通知只在新書架開架或閱讀規則變更時寄出。