本页由繁体中文版自动转换
率失真理论
真正的设计决策不是压多少,是先指定哪一种损失可以接受。
选错了那个标准,你会非常有效率地优化一件错的事。
曲线下方是不可能区域,任何宣称落在那里的压缩都不成立。
本图刻意无数值刻度与单位。 放大看图 ▸转发 PNG ▸
一、发生什么事
允许失真之后,第一个设计决定是哪一种差异算作损失,然后才轮到能压多短。无损压缩的地板是熵。但很多时候我们不需要完整还原:一张照片、一段录音、一份摘要,损失一些细节换取大幅缩短是划算的。问题是划算到哪里为止。
答案的雏形在 Shannon 1948 年论文的末段已就连续来源提出[4]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. 书目经官方记录核对。主张已对照全文核实。原刊第 26 至 27 节(后来的重排本作第 27 至 28 节)以距离函数衡量重建的保真度,定义来源相对于保真度的率,并给出对应的编码定理(定理 21);处理的是连续来源。,Shannon 1959 年的论文给了它完整的形状[1]Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163. 书目经双源核对。主张已对照全文核实。以失真度量与平均失真上限定义率失真函数 R(d),并证明离散来源的编码定理;R(d) 随 d 单调递减,失真超过某一上限时降为零。。它用一个「失真度量」来说明什么样的差异算是损失、损失多少;然后在「平均失真不超过 D」这个约束下,求所需长度的最小值。得到的是一条随 D 递减的曲线:容许的失真越大,需要的长度越少。曲线有两个端点值得记:容许失真为零时,它回到熵;容许失真大到极限时,它降到零,也就是什么都不传。Berger 1971 年的教科书把这个领域系统化,成为此后的典律[2]Berger, T. (1971). Rate Distortion Theory: A Mathematical Basis for Data Compression. Englewood Cliffs, NJ: Prentice-Hall. 书目经多源交叉核对。把率失真理论系统化整理的教科书。。
这条曲线最重要的性质不是它的形状,是它下方的区域不可能。任何宣称能在某个失真水准下压得比曲线更低的方法,不是计算错了就是偷偷改了失真的定义。这给了你一个很硬的检查工具。
而整套理论真正的重量落在一个常被略过的地方:失真度量是你选的。理论本身不告诉你什么算损失,它只在你给定标准之后,告诉你极限在哪。所以同一份资料,换一个失真度量就会得到完全不同的曲线、完全不同的最优压缩法。影像压缩领域一个著名的后果是,用数值差异当标准做出来的方法,在人眼看来会产生特定形态的瑕疵,因为人眼在意的东西不是数值差异。
还有一条实务上的修正:曲线是渐近可达的,需要很长的码块。短讯息、要求即时的场合,实际能达到的率一般高于曲线[3]Kostina, V., & Verdú, S. (2012). Fixed-Length Lossy Compression in the Finite Blocklength Regime. IEEE Transactions on Information Theory, 58(6), 3309–3338. DOI 10.1109/TIT.2012.2186786. 书目经官方记录核对。要旨与摘要一致。有损压缩在有限码长下的分析:给定码长与失真超标的机率,最低可达率近似为 R(d) 加上一项随码长平方根递减的修正,因此短码情形的实际率一般高于曲线。。
二、为什么这对你重要
你每天做的摘要、交接、简报,全部是有损压缩。差别在于多数人没有意识到自己正在做一个选择:哪一种损失是可以接受的。
不指定这件事,就等于默认一个标准,而默认值通常是「读起来顺不顺」。于是压缩的过程变成砍掉那些让句子变长、变别扭的部分,而那些部分往往正是承载条件与例外的地方:「除非」「取决于」「只有在」「必须」。砍掉它们,文字流畅度上升,而流畅度正是那个被默认的失真度量,所以优化过程觉得自己做得很好。损失的是判断所需的边界,而这种损失不会产生错误讯息。
换一个度量,整个做法就变了。如果你把失真度量定成「读者会不会做出不同的决定」,那么首先要保住的就是所有改变决定的条件,而可以整段丢掉的是背景、动机、与过程叙述。同一份材料,同样压到一半长度,两个版本会完全不一样,而且各自在自己的标准下最优。
所以这一页给的操作是一句话:压缩之前,先写下你允许损失什么。这句话写出来通常不到十个字,但它决定了后面所有的取舍方向。我们自己的知识库把它写成一条硬规矩:压缩时承载因果与条件的词永不可删,其余皆可。这条规矩就是一个明文的失真度量。
第三件事是承认极限。当你发现无论怎么压都会损失掉你不能接受的东西,那不代表你技巧不够,代表你要的失真水准对应的长度就是那么长。这时候正确的动作是接受长度,或者改变读者,而不是继续压。
Lab 实测 有实测才写
本节点暂无实测。
如何阅读来源注记 「书目经…核对」指作者、年份、题名与出版项已确认;不代表该来源的主张已被核对。「与摘要一致」指主张与论文摘要相符;不含逐句对照全文。「对照全文核实」指主张已与来源文本本身比对。 定义版本:2026-09-20。
- [1] Shannon, C. E. (1959). Coding Theorems for a Discrete Source with a Fidelity Criterion. IRE National Convention Record, 7, Part 4, 142–163. ↩
- [2] Berger, T. (1971). Rate Distortion Theory: A Mathematical Basis for Data Compression. Englewood Cliffs, NJ: Prentice-Hall. ↩
- [3] Kostina, V., & Verdú, S. (2012). Fixed-Length Lossy Compression in the Finite Blocklength Regime. IEEE Transactions on Information Theory, 58(6), 3309–3338. ↩
- [4] Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. ↩
新书架开架时通知我
开架通知只在新书架开架或阅读规则变更时寄出。