Trigpoint

本页由繁体中文版自动转换

Collections 书架 › Information Theory 资讯理论
书架 SHELF

资讯理论

Information Theory · 量度自己工作流的那把尺
所属学科:应用数学
「资讯理论是通讯工程师的数学」:错在结构。
12 册 · 8 个实测 全部来源:书目已核 ✓
↓ 跳到节点清单

你每天都在一条有限、有噪音的通道上工作:把一件事说到对方能还原。你有直觉,但没有尺;这里是那把尺。

节点序列

建议阅读次序 · 先定死这个词、它为什么会走样、怎么把它缩小、用什么量度相关与错、谁在承受这些限制
№ 01§ 先把「资讯」这个词定死段内序:定义(不是内容)→ 单一事件怎么量 → 整个系统怎么量
01

资讯与不确定性

Information and Uncertainty · Shannon (1948) / Hartley (1928)

资讯不是内容,是不确定性的削减量。

约 4 分钟
02

资讯量

Self-Information · Shannon (1948) / Samson (1951)

一件事带多少资讯,取决于它原本有多不可能发生。

约 4 分钟
03

熵

Entropy · Shannon (1948)

熵不是混乱,是不可预测性的量化。

约 5 分钟
№ 02§ 它为什么会走样:噪音与容量段内序:先分辨什么是噪音 → 再认识通道本身的硬上限
04

讯号与噪音

Signal and Noise · Shannon (1948)

讯号是能稳定降低不确定性的那部分输入,其余是噪音。

Lab 实测 ×2约 4 分钟
05

通道与容量

Channel and Capacity · Shannon (1948, 1949)

通道是任何让资讯流动的载体,不只是电线与无线电,也包括语言、注意力与记忆。

Lab 实测 ×2约 5 分钟
№ 03§ 怎么把它缩小:压缩的三条极限段内序:无损(地板在哪)→ 有损(愿意付多少失真)→ 个体(不用机率的第二条路)
06

编码与压缩

Coding and Compression · Shannon (1948) / Fano (1949) / Huffman (1952)

压缩不是删内容,是换一种更短的方式表示同样的内容。

Lab 实测 ×2约 5 分钟
07

率失真理论

Rate-Distortion Theory · Shannon (1959) / Berger (1971)

允许失真,就能压得比熵更低,但低到哪里有一条不可逾越的曲线。

约 5 分钟
08

演算法资讯观

Algorithmic Information Theory · Solomonoff (1964) / Kolmogorov (1965) / Chaitin (1966)

除了 Shannon 那条路,资讯还有第二个定义:一段东西的资讯量,是能生成它的最短程式长度。

约 5 分钟
№ 04§ 用什么量度「相关」与「错」段内序:两者共享多少 → 假设错了要付多少
09

互信息

Mutual Information · Shannon (1948) / Fano (1961)

互信息量的是:知道其中一个之后,另一个的不确定性少了多少。

约 4 分钟
10

相对熵

Kullback-Leibler Divergence · Kullback & Leibler (1951)

这个量回答一个很实际的问题:你用错的模型去编码真实的资料,每一笔平均要多付多少。

约 5 分钟
№ 05§ 谁在承受这些限制段内序:人 → 物理。本段同时是全架诚实层锚点:我们做的正是这套理论的创立者警告过的跨域外推,所以把警告一并印出
11

资讯理论与认知科学

Information Theory and Cognitive Science · Miller (1956) / Bartlett (1932) / Simon (1955)

心智是一个在容量限制与噪音下运作的资讯处理系统。

约 5 分钟
12

资讯理论与热力学

Information Theory and Thermodynamics · Szilárd (1929) / Landauer (1961) / Bennett (1973)

资讯不是纯粹的抽象。

Lab 实测 ×2约 5 分钟

读完这一架

把十二页并排,本书架另整理出三点。三点都不是任何一份文献的原话。

第一点,这些量度量出来的数,要先指定一个参照才有内容。十二页当中有八页各自写到一种参照。机率是谁的,见「资讯与不确定性」「资讯量」「熵」。拿这段输入回答哪一个判断,见「讯号与噪音」。接收端本来已经知道什么,见「编码与压缩」。哪一种损失可以接受,见「率失真理论」。在什么噪音条件下,见「通道与容量」。从哪一个方向看,见「相对熵」。参照没有写明时,「这份材料资讯量大」「那些都是噪音」「这样压得比较好」「这个管道容量较大」一类比较句,按各页的说法没有内容,也无从仲裁。

第二点,有五页写到同一种失败形态。传输超过容量、压缩过头、脉络被稀释、记忆在重建时走样,都不会产生错误讯息,接收的一方照样给出看来合理的回应。见「通道与容量」「编码与压缩」「率失真理论」「讯号与噪音」「资讯理论与认知科学」。

第三点,有四页写明,实际做得到的与理论上的界线有距离。容量与率失真曲线都要很长的码块才逼近,短讯息与即时场合一般达不到。最短程式长度不可计算,只能从上方估计。擦除的耗热下界远低于实际硬体的能耗。见「通道与容量」「率失真理论」「演算法资讯观」「资讯理论与热力学」。

本书架据此整理出三项做法。使用这些量度之前,先写下参照:对谁、对哪一个判断、允许损失什么。这类失败事后不会自己显现,防线要放在事前,例如先决定对方只还原得了一半时要保住哪一半。这些界线适合用来判断某个宣称是否越界,不宜拿来当作应该达到的目标值。

一段内容是对是错,本书架的量度答不了。「资讯与不确定性」与「资讯量」两页写明,资讯量高只代表出乎意料,判断对错要换别的工具。「互信息」写明,它只说两件事有关,不说谁影响谁;处理方向的那一族含时序的量度,本书架未收。

资讯熵与热力学熵在什么意义上是同一回事,「熵」与「资讯理论与热力学」两页都并陈两种立场,没有裁定。擦除必然耗热这条原理的一般性证明是否成立,「资讯理论与热力学」同样并陈而不裁。

人一次能可靠处理多少,本书架不给数字。「资讯理论与认知科学」写明那个通行的数字不是定论,并刻意不采用任何具体数值;该页所引的研究到 2024 年仍把容量上限怎样评估列为争议问题。

「谁在承受这些限制」一段的说明已写明,该段两页做的是跨域外推。另有四页在其他各段,同样把自己用到人的沟通、判断或治理上的部分标为类比:「通道与容量」「率失真理论」「演算法资讯观」「相对熵」。六页的说法一致:可以借用结构去提问,不能借用数值结论。

各页查核到哪一层并不相同,已逐页标明。其中「资讯与不确定性」与「讯号与噪音」两页的框架陈述只核到学科层,没有逐句对回一手文献。

自读 · 理论层

理论层全部在此,不需帐号;读完即走。

Trigpoint Pass · 应用层

案例层(我们自己把容量、讯噪与压缩纪律装进治理规矩的实测,含它先超载过一次的纪录)+ 多数节点的完整验证层(来源核到哪一层、反例与失效边界)。

Trigpoint Pass ▸

新书架开架时通知我

新书架开架时通知我

开架通知只在新书架开架或阅读规则变更时寄出。