Trigpoint
Collections 書架 › Information Theory 資訊理論 › Coding and Compression 編碼與壓縮
「壓縮就是刪掉一些」:錯。

編碼與壓縮

Coding and Compression · Shannon (1948) / Fano (1949) / Huffman (1952)
摘要已核 ✓ Lab 實測 ✓ 資訊理論 · 表示與壓縮 先讀:熵 先讀:資訊量 私下告訴編輯 ▸
三句講透 壓縮不是刪內容,是換一種更短的方式表示同樣的內容。
可壓縮的部分叫冗餘,也就是接收端本來就能推得出來的那些;把它們拿掉不損失任何東西。
而這件事有一道地板:無損壓縮的平均長度不可能低於熵。

↳ 見過反例?

編碼與壓縮 Shannon (1948) · Fano (1949) · Huffman (1952) Coding and Compression 兩條路都會變短,只有一條沒有損失 原始表示 含冗餘 正路:去冗餘 辨識可預測的部分 接收端能自己推回來 常見的用短碼 罕見的用長碼 止於熵 地板,跨不過去 歧路:刪內容 挑看起來次要的砍 條件詞最常被誤砍 也會變短,但短的原因是資訊被丟掉 讀者拿到一個更清爽也更容易誤用的版本 分辨兩條路,只需要一個問句 我刪掉的這句話,讀者能不能從剩下的內容推回來:能是冗餘,不能是資訊 流程為概念示意,不含壓縮率、比例或任何量測數字。 地板只約束無損壓縮;允許失真之後極限由另一組條件決定,見本站率失真理論頁。 圖:trigpoint.pub
圖 1 · 壓縮的正路與歧路示意:正路是辨識規律、以更短的表示承載同樣的內容,終點是熵這道地板;歧路是直接刪內容,它確實會變短,但變短的原因是資訊被丟掉,不是冗餘被去掉。 放大看圖 ▸

一、發生什麼事

先分清楚兩個常被混用的詞。編碼是把內容轉成某種符號系統,本身不必然變短;壓縮是編碼的一種優化目標,利用內容裡的規律,把可預測的部分用更短的方式表示。關鍵在可預測:一段接收端本來就猜得到的內容,用長篇幅去寫是純粹的浪費,這個浪費就叫冗餘。

由此推出一條分配原則:常出現的東西用短碼,罕見的東西用長碼。這條原則的兩個經典實作分別在 1949 與 1952 年出現。前者是由上而下的啟發式作法,後者證明了由下而上的建構能保證平均碼長最小[2]Fano, R. M. (1949). The Transmission of Information (Technical Report No. 65). Research Laboratory of Electronics, Massachusetts Institute of Technology. 書目經出版社記錄核對。主張已對照全文核實。Shannon-Fano 編碼法的發表處:把訊息依機率排序後,反覆切成機率盡量相等的兩組。[3]Huffman, D. A. (1952). A Method for the Construction of Minimum-Redundancy Codes. Proceedings of the IRE, 40(9), 1098–1101. DOI 10.1109/JRPROC.1952.273898. 書目經官方記錄核對。要旨與摘要一致。由下而上的最優前綴碼建構法,保證最小平均碼長。。兩者的差別不只是效率,是保證:一個是「通常不錯」,一個是「可證明最優」。

而無論用什麼方法,都有一道跨不過去的線。Shannon 1948 年論文的定理 9 給出無損壓縮的平均碼長下界,那個下界就是熵[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. 書目經官方記錄核對。主張已對照全文核實。出處經跨模型雙查核實。第 9 節(無噪音通道的基本定理)之定理 9:來源的熵決定經無噪音通道傳送所需的最低平均速率,可任意逼近,不可超越;這就是無損壓縮的平均碼長下界。。這條線有兩個實務含意,都值得記住。其一,壓縮能力的上限由資料本身的機率結構決定,不由你的技術決定;其二,當你逼近那條線,繼續壓下去的每一步都不再是去冗餘,而是在丟資訊。

無損與有損由此分岔。無損要求完整還原,受熵的地板約束;有損允許失真以換取更低的長度,它有另一套完全不同的理論極限,是「率失真理論」的主題。

二、為什麼這對你重要

多數人做摘要時做的是刪減,而不是壓縮。兩者的差別可以用一個問題分開:我刪掉的這句話,讀者能不能從剩下的內容推回來。能,那是冗餘,刪得對;不能,那是資訊,你只是把文件變短了。

這個判準會立刻改變你怎麼寫交接與說明。真正該砍的往往不是細節,而是那些讀者的既有知識已經涵蓋的鋪陳:背景介紹、通則覆述、前提重申。而最不該砍的常常長得像可以砍的,也就是那些帶著條件的句子。「除非」「取決於」「只有在」「必須」這類詞承載的是因果與邊界,它們不能從其他句子推回來,砍掉之後讀者會得到一個看起來更清爽、但實際上更容易誤用的版本。這件事在「率失真理論」有更精確的說法。

第二個推論是關於「解碼端」。壓縮的前提是雙方共用同一套規律;如果接收端沒有那套規律,你的短碼對他就是密碼。所以同一份內容給不同對象要用不同的壓縮率,這不是體貼,是這套理論的直接後果。給熟手的簡報和給新人的說明不能共用一份,不是因為新人需要更多資訊,是因為他們少了讓你的壓縮成立的那本碼表。

第三個推論最反直覺:壓不下去有時候是好消息。它意味著你手上的材料裡冗餘已經不多,剩下的都是不能推導出來的部分。這時候該做的是承認長度,不是繼續削。

驗證層 · 會員
這個節點的導讀公開閱讀。
驗證細節與失效邊界屬會員版。
平均每月 US$8.25 · 亦可按月訂閱 ▸

Lab 實測 本理論在我們工作室的兩次實測

公開試讀實測 · 2026-08

刪掉重複之前,先逐條確認它真的推得回來

情境:我們的知識庫有兩條處理壓縮的規矩。一是引用而非重寫:同一個事實只寫在一處,其他需要它的地方一律連過去。二是三層密度:同一份內容同時帶一行摘要、三秒摘要與展開的主線,三者是同一份內容的三種粒度,不是三份副本。

2026-08-16,主理人提出知識庫應該把解說與教學分開維護,我們先逐檔讀過內文,看類型究竟混在哪裡。知識節點不拆:三層密度已在同一份內容裡分出「查一下」與「讀懂它」兩種讀法,751 個節點維持原樣。真正混寫的是描述工作程序的文件,其中一份的頂部逐版寫著改版說明,與同一檔檔尾的版本紀錄表重複。

決策點:要清掉這段重複,當時可行的做法至少有四種。一,直接刪掉頂部的逐版說明。二,刪掉檔尾的版本紀錄表,只留頂部。三,兩處都留,另加一條要求兩處同步的規則。四,先逐條核對頂部每一段在表裡是否有對應,再把頂部壓成一行指向表的連結。

我們的做法與結果:我們選了第四種。盤點報告寫頂部有 15 段,實數是 12 段逐版說明,加一行基底版本的描述。逐條核對時發現,當時正在使用的那一版在表裡沒有任何一列,它的版本史只存在於頂部;照「刪除重複」直接刪,會刪掉這一版唯一的紀錄。

我們先在表裡補上這一列,再把頂部壓成一行連結;頂部以下的 10 段規則說明,以腳本逐段確認保留。連結那一行同時寫明:此後每次改版只寫表列。截至 10-25,這份文件又改版多次,頂部沒有再長出逐版說明,版本史已另移到同一資料夾的獨立檔案。

帶走:若要刪掉一段看起來重複的內容,先逐條確認每一部分都能從留下來的內容推回來;推得回來的是冗餘,推不回來的是資訊,要先搬過去再刪。

Trigpoint Pass實測 · 2026-04

雙記的帳單:角色表寫在幾處,職稱改了,舊的那份照樣被讀

2026 年 4 月,我們的角色表同時寫在幾份文件裡。一次新增角色,改動要分頭寫進三處;兩天後,兩份角色表已經對不上。這時可行的處置至少有四種,差別在於下一次改動要記得改幾個地方,以及漏改的那一份會不會被當真。

此案例為 Trigpoint Pass 內容 · 含可套用判準

閱讀會員版 ▸

解鎖全部實測案例 Trigpoint Pass ▸

常見誤讀

所屬頁核驗:摘要已核 ✓ · 內容最後修訂 2026-11-14

  • 常見轉述「壓縮就是刪掉不重要的部分」:無損壓縮不刪任何內容,它只換一種更短的表示方式,原件可以完整還原。會刪東西的是有損壓縮,那是另一套理論,本站另有專頁。把兩者混為一談,會讓人以為所有壓縮都要付出失真代價。 #
  • 常見轉述「壓縮率取決於演算法好壞」:演算法決定你離極限多遠,但極限本身由資料的機率結構決定。同一個演算法在不同資料上的壓縮率差距,多半來自資料而非演算法。 #
參考文獻

如何閱讀來源註記 「書目經…核對」指作者、年份、題名與出版項已確認;不代表該來源的主張已被核對。「與摘要一致」指主張與論文摘要相符;不含逐句對照全文。「對照全文核實」指主張已與來源文本本身比對。 定義版本:2026-09-20。

  1. [1] Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. ↩
  2. [2] Fano, R. M. (1949). The Transmission of Information. MIT RLE Technical Report No. 65. ↩
  3. [3] Huffman, D. A. (1952). A Method for the Construction of Minimum-Redundancy Codes. Proceedings of the IRE, 40(9), 1098–1101. ↩

↳ 引註有誤?

新書架開架時通知我

新書架開架時通知我

開架通知只在新書架開架或閱讀規則變更時寄出。

試行

私下告訴編輯:更正、反例或適用性

提交只供編輯閱讀,處理前不公開;處理後,編輯撰寫的摘要與回應才會刊出。提交毋須註冊,暱稱可留空。

你想提交的是
設定公開名稱後,可選擇以名稱致謝 ▸
不登入,直接匿名提交

登入後可在「我的」頁追蹤處理狀態。你寫的內容會保留。

你已登入:本件會連結到你的帳號,只有你和編輯看得到,方便你在「我的」頁追蹤狀態。原文不會公開。 完整私隱政策 ▸

不連到帳號,改為匿名提交 ▸

不收集電郵。你的原文與暱稱只供編輯閱讀,不會公開;站上只刊載編輯撰寫的摘要。真人驗證由 Cloudflare Turnstile 提供;為限制濫用,系統只保存 IP 的雜湊值,不保存明文 IP。原文保存於我們的雲端服務商,可應要求刪除。 完整私隱政策 ▸