編碼與壓縮
可壓縮的部分叫冗餘,也就是接收端本來就能推得出來的那些;把它們拿掉不損失任何東西。
而這件事有一道地板:無損壓縮的平均長度不可能低於熵。
一、發生什麼事
先分清楚兩個常被混用的詞。編碼是把內容轉成某種符號系統,本身不必然變短;壓縮是編碼的一種優化目標,利用內容裡的規律,把可預測的部分用更短的方式表示。關鍵在可預測:一段接收端本來就猜得到的內容,用長篇幅去寫是純粹的浪費,這個浪費就叫冗餘。
由此推出一條分配原則:常出現的東西用短碼,罕見的東西用長碼。這條原則的兩個經典實作分別在 1949 與 1952 年出現。前者是由上而下的啟發式作法,後者證明了由下而上的建構能保證平均碼長最小[2]Fano, R. M. (1949). The Transmission of Information (Technical Report No. 65). Research Laboratory of Electronics, Massachusetts Institute of Technology. 書目經出版社記錄核對。主張已對照全文核實。Shannon-Fano 編碼法的發表處:把訊息依機率排序後,反覆切成機率盡量相等的兩組。[3]Huffman, D. A. (1952). A Method for the Construction of Minimum-Redundancy Codes. Proceedings of the IRE, 40(9), 1098–1101. DOI 10.1109/JRPROC.1952.273898. 書目經官方記錄核對。要旨與摘要一致。由下而上的最優前綴碼建構法,保證最小平均碼長。。兩者的差別不只是效率,是保證:一個是「通常不錯」,一個是「可證明最優」。
而無論用什麼方法,都有一道跨不過去的線。Shannon 1948 年論文的定理 9 給出無損壓縮的平均碼長下界,那個下界就是熵[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. 書目經官方記錄核對。主張已對照全文核實。出處經跨模型雙查核實。第 9 節(無噪音通道的基本定理)之定理 9:來源的熵決定經無噪音通道傳送所需的最低平均速率,可任意逼近,不可超越;這就是無損壓縮的平均碼長下界。。這條線有兩個實務含意,都值得記住。其一,壓縮能力的上限由資料本身的機率結構決定,不由你的技術決定;其二,當你逼近那條線,繼續壓下去的每一步都不再是去冗餘,而是在丟資訊。
無損與有損由此分岔。無損要求完整還原,受熵的地板約束;有損允許失真以換取更低的長度,它有另一套完全不同的理論極限,是「率失真理論」的主題。
二、為什麼這對你重要
多數人做摘要時做的是刪減,而不是壓縮。兩者的差別可以用一個問題分開:我刪掉的這句話,讀者能不能從剩下的內容推回來。能,那是冗餘,刪得對;不能,那是資訊,你只是把文件變短了。
這個判準會立刻改變你怎麼寫交接與說明。真正該砍的往往不是細節,而是那些讀者的既有知識已經涵蓋的鋪陳:背景介紹、通則覆述、前提重申。而最不該砍的常常長得像可以砍的,也就是那些帶著條件的句子。「除非」「取決於」「只有在」「必須」這類詞承載的是因果與邊界,它們不能從其他句子推回來,砍掉之後讀者會得到一個看起來更清爽、但實際上更容易誤用的版本。這件事在「率失真理論」有更精確的說法。
第二個推論是關於「解碼端」。壓縮的前提是雙方共用同一套規律;如果接收端沒有那套規律,你的短碼對他就是密碼。所以同一份內容給不同對象要用不同的壓縮率,這不是體貼,是這套理論的直接後果。給熟手的簡報和給新人的說明不能共用一份,不是因為新人需要更多資訊,是因為他們少了讓你的壓縮成立的那本碼表。
第三個推論最反直覺:壓不下去有時候是好消息。它意味著你手上的材料裡冗餘已經不多,剩下的都是不能推導出來的部分。這時候該做的是承認長度,不是繼續削。
Lab 實測 本理論在我們工作室的兩次實測
刪掉重複之前,先逐條確認它真的推得回來
情境:我們的知識庫有兩條處理壓縮的規矩。一是引用而非重寫:同一個事實只寫在一處,其他需要它的地方一律連過去。二是三層密度:同一份內容同時帶一行摘要、三秒摘要與展開的主線,三者是同一份內容的三種粒度,不是三份副本。
2026-08-16,主理人提出知識庫應該把解說與教學分開維護,我們先逐檔讀過內文,看類型究竟混在哪裡。知識節點不拆:三層密度已在同一份內容裡分出「查一下」與「讀懂它」兩種讀法,751 個節點維持原樣。真正混寫的是描述工作程序的文件,其中一份的頂部逐版寫著改版說明,與同一檔檔尾的版本紀錄表重複。
決策點:要清掉這段重複,當時可行的做法至少有四種。一,直接刪掉頂部的逐版說明。二,刪掉檔尾的版本紀錄表,只留頂部。三,兩處都留,另加一條要求兩處同步的規則。四,先逐條核對頂部每一段在表裡是否有對應,再把頂部壓成一行指向表的連結。
我們的做法與結果:我們選了第四種。盤點報告寫頂部有 15 段,實數是 12 段逐版說明,加一行基底版本的描述。逐條核對時發現,當時正在使用的那一版在表裡沒有任何一列,它的版本史只存在於頂部;照「刪除重複」直接刪,會刪掉這一版唯一的紀錄。
我們先在表裡補上這一列,再把頂部壓成一行連結;頂部以下的 10 段規則說明,以腳本逐段確認保留。連結那一行同時寫明:此後每次改版只寫表列。截至 10-25,這份文件又改版多次,頂部沒有再長出逐版說明,版本史已另移到同一資料夾的獨立檔案。
帶走:若要刪掉一段看起來重複的內容,先逐條確認每一部分都能從留下來的內容推回來;推得回來的是冗餘,推不回來的是資訊,要先搬過去再刪。
雙記的帳單:角色表寫在幾處,職稱改了,舊的那份照樣被讀
2026 年 4 月,我們的角色表同時寫在幾份文件裡。一次新增角色,改動要分頭寫進三處;兩天後,兩份角色表已經對不上。這時可行的處置至少有四種,差別在於下一次改動要記得改幾個地方,以及漏改的那一份會不會被當真。
此案例為 Trigpoint Pass 內容 · 含可套用判準
解鎖全部實測案例 Trigpoint Pass ▸
如何閱讀來源註記 「書目經…核對」指作者、年份、題名與出版項已確認;不代表該來源的主張已被核對。「與摘要一致」指主張與論文摘要相符;不含逐句對照全文。「對照全文核實」指主張已與來源文本本身比對。 定義版本:2026-09-20。
- [1] Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. ↩
- [2] Fano, R. M. (1949). The Transmission of Information. MIT RLE Technical Report No. 65. ↩
- [3] Huffman, D. A. (1952). A Method for the Construction of Minimum-Redundancy Codes. Proceedings of the IRE, 40(9), 1098–1101. ↩
新書架開架時通知我
開架通知只在新書架開架或閱讀規則變更時寄出。