资讯与不确定性
资讯不是内容,是不确定性的削减量。
本页由繁体中文版自动转换
你每天都在一条有限、有噪音的通道上工作:把一件事说到对方能还原。你有直觉,但没有尺;这里是那把尺。
资讯不是内容,是不确定性的削减量。
一件事带多少资讯,取决于它原本有多不可能发生。
熵不是混乱,是不可预测性的量化。
讯号是能稳定降低不确定性的那部分输入,其余是噪音。
通道是任何让资讯流动的载体,不只是电线与无线电,也包括语言、注意力与记忆。
压缩不是删内容,是换一种更短的方式表示同样的内容。
允许失真,就能压得比熵更低,但低到哪里有一条不可逾越的曲线。
除了 Shannon 那条路,资讯还有第二个定义:一段东西的资讯量,是能生成它的最短程式长度。
互信息量的是:知道其中一个之后,另一个的不确定性少了多少。
这个量回答一个很实际的问题:你用错的模型去编码真实的资料,每一笔平均要多付多少。
心智是一个在容量限制与噪音下运作的资讯处理系统。
资讯不是纯粹的抽象。
把十二页并排,本书架另整理出三点。三点都不是任何一份文献的原话。
第一点,这些量度量出来的数,要先指定一个参照才有内容。十二页当中有八页各自写到一种参照。机率是谁的,见「资讯与不确定性」「资讯量」「熵」。拿这段输入回答哪一个判断,见「讯号与噪音」。接收端本来已经知道什么,见「编码与压缩」。哪一种损失可以接受,见「率失真理论」。在什么噪音条件下,见「通道与容量」。从哪一个方向看,见「相对熵」。参照没有写明时,「这份材料资讯量大」「那些都是噪音」「这样压得比较好」「这个管道容量较大」一类比较句,按各页的说法没有内容,也无从仲裁。
第二点,有五页写到同一种失败形态。传输超过容量、压缩过头、脉络被稀释、记忆在重建时走样,都不会产生错误讯息,接收的一方照样给出看来合理的回应。见「通道与容量」「编码与压缩」「率失真理论」「讯号与噪音」「资讯理论与认知科学」。
第三点,有四页写明,实际做得到的与理论上的界线有距离。容量与率失真曲线都要很长的码块才逼近,短讯息与即时场合一般达不到。最短程式长度不可计算,只能从上方估计。擦除的耗热下界远低于实际硬体的能耗。见「通道与容量」「率失真理论」「演算法资讯观」「资讯理论与热力学」。
本书架据此整理出三项做法。使用这些量度之前,先写下参照:对谁、对哪一个判断、允许损失什么。这类失败事后不会自己显现,防线要放在事前,例如先决定对方只还原得了一半时要保住哪一半。这些界线适合用来判断某个宣称是否越界,不宜拿来当作应该达到的目标值。
一段内容是对是错,本书架的量度答不了。「资讯与不确定性」与「资讯量」两页写明,资讯量高只代表出乎意料,判断对错要换别的工具。「互信息」写明,它只说两件事有关,不说谁影响谁;处理方向的那一族含时序的量度,本书架未收。
资讯熵与热力学熵在什么意义上是同一回事,「熵」与「资讯理论与热力学」两页都并陈两种立场,没有裁定。擦除必然耗热这条原理的一般性证明是否成立,「资讯理论与热力学」同样并陈而不裁。
人一次能可靠处理多少,本书架不给数字。「资讯理论与认知科学」写明那个通行的数字不是定论,并刻意不采用任何具体数值;该页所引的研究到 2024 年仍把容量上限怎样评估列为争议问题。
「谁在承受这些限制」一段的说明已写明,该段两页做的是跨域外推。另有四页在其他各段,同样把自己用到人的沟通、判断或治理上的部分标为类比:「通道与容量」「率失真理论」「演算法资讯观」「相对熵」。六页的说法一致:可以借用结构去提问,不能借用数值结论。
各页查核到哪一层并不相同,已逐页标明。其中「资讯与不确定性」与「讯号与噪音」两页的框架陈述只核到学科层,没有逐句对回一手文献。
开架通知只在新书架开架或阅读规则变更时寄出。