本页由繁体中文版自动转换
资讯与不确定性
一件事带多少资讯,取决于它排除掉多少原本可能发生的情况,而不是它讲了多长、多深、多重要。
所以「资讯量」与「有没有意义」是两把不同的尺,量出来的东西互不决定。
下方两轴说明同一句话可以在资讯量与意义上落在完全不同的位置,两轴互不决定。 放大看图 ▸转发 PNG ▸
一、发生什么事
Shannon 1948 年的奠基论文开宗明义做了一件现在看来仍然反直觉的事:它把「意义」从问题里拿掉[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 书目经官方记录核对。主张已对照全文核实。出处经跨模型双查核实。引言处明文把语义问题排除在工程问题之外:通讯的语义层面与工程问题无关。。原文说得很直接,通讯的语义层面与工程问题无关。这不是回避,是划界:要让资讯变成可计算、可传输、可比较的量,就必须先放弃追问它在说什么。隔年出版的《The Mathematical Theory of Communication》收入 Weaver 的导论,把通讯问题分成技术、语义、效果三层,并承认这套理论表面上只适用于第一层;不过他同时主张,它对另两层也有帮助与启发[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 书目经出版社记录核对。主张已对照全文核实。出处经跨模型双查核实。Weaver 导论把通讯问题分为技术、语义、效果三层;他承认这套数学理论表面上只适用于第一层,同时主张它对另两层也有帮助与启发。。
拿掉意义之后,剩下什么可以量?剩下可能性的排除。设想一个尚未揭晓的局面,它有一组可能的结果;当其中一个成真,其余全部被排除,而被排除的份量就是这件事带来的资讯。这个定义有个立刻可验的后果:同一句话在不同处境下的资讯量不同。对已经知道明天下雨的人,「明天会下雨」几乎不带资讯;对所有预报都说晴天的人,同一句话资讯量极高。变的不是句子,是它排除掉的东西。
再往前一步就分出两个层级。单一事件排除了多少,是那个事件的资讯量;整个局面平均而言有多难猜,是这个系统的熵。两者常被混为一谈,但它们回答的是不同的问题:一个问「这次揭晓让我知道了多少」,一个问「揭晓之前我有多不确定」。本站接下来两页分别处理。
对数结构的雏形其实更早。Hartley 1928 年的论文把讯息量与可区分状态的数量连起来,替后来的形式化铺了路[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 书目经官方记录核对。主张已对照全文核实。以可区分状态的计数建立资讯的对数结构雏形。该篇明言先假设没有外来干扰,不含噪音功率下的容量;把后者归给 Hartley 是引注讹传(见本站「通道与容量」页)。。要注意它处理的是无噪音情形,把噪音下的容量归给它是后来才产生的引注讹传。
二、为什么这对你重要
你每天都在用「资讯」这个词,但用的是它的日常语感:资讯多=讲得多、讲得细、讲得专业。这套理论说那是另一回事,而这个差别会直接改变你怎么判断手上的东西。
一份三千字的会议纪录,如果它记下的全部是你事前就能预测的内容,那它的资讯量接近零,尽管它的字数不是。一份模型输出读起来条理分明、术语齐备,也可能因为它只是把你的提问重新排列而几乎没有排除任何可能性。判断的问题不该是「这段内容够不够丰富」,而是「它排除了什么我原本以为可能的东西」。前一个问题没有答案,后一个有。
这条界线还有一个更难接受的推论:资讯量高不代表对。一句断言越是出乎意料,它排除的可能性越多,资讯量就越高,而它是否为真完全是另一把尺的事。模型给出一个大胆而具体的判断,它在这套理论下确实是高资讯量的输出,这件事本身不构成任何相信它的理由。把两把尺分开,是使用这套语言的第一个代价,也是它给你的第一个好处。
反例与失效边界
第一个边界,也是最重要的一个:这套定义不是一个关于「什么是资讯」的哲学主张。它是一个为了让量化可行而做的取舍。放弃语义换来的是可计算,代价是这套理论对「这句话在说什么」永远沉默。拿它去论证意义不重要,是把一个工程学上的划界误读成本体论的判断。
第二个边界是机率从哪里来。「排除了多少可能性」预设你已经有一个可能性空间与一组机率。现实里这组机率往往是你自己的预期,不是客观频率,于是同一件事对不同的人资讯量不同,而且无法互相仲裁。这不是理论的缺陷,是它的适用条件:先确定机率是谁的,量出来的数才有意义。
第三个是最常见的实务误用:拿它当内容品质的量尺。资讯量与正确性正交,与重要性也正交。一个系统可以稳定产出高资讯量而全错的输出,这在本理论下不构成矛盾。要判断对错与轻重,得换别的工具。
Lab 实测 有实测才写
本节点暂无实测。
- 常见转述「资讯量高代表内容有价值」:两者是独立的两轴。一句完全错误的话可以有极高资讯量,一句极有意义的话也可以几乎没有资讯量。本理论只量前者,对后者不发一言。 #
- 常见转述「Hartley 提出了资讯的容量公式」:Hartley 1928 给的是无噪音情形下可区分状态的计数,不是噪音功率下的容量。后者属 Shannon 1948 年的论文。这条讹传有流传,本站另有专页处理。 #
记录核查深度,不担保结论为真。
核查经过
先讲本页的考据结构,因为它与本书架其他页不同。
本页的框架陈述(资讯是不确定性的削减,且与意义正交),在 2026 年 6 月一次跨模型查证中属于被判为已定教科书典律的一类:两个模型都扫过这个概念群,第二个模型的深度覆核则集中在该轮标为有争议的出处上,没有逐条回到本页这条框架陈述。换句话说,这条陈述的验证是学科层的,不是逐句一手核对的。我们照直说,因为同一轮查证里,第一阶段确实出过两次出处错误,都是第二阶段抓回来的。
本页引用的具体出处则另有较强的依据。Shannon 1948 年论文的出处三件(期刊、卷期、DOI)与 1949 年的《The Mathematical Theory of Communication》作为锚点,皆经该轮的跨模型深度核对确认[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 书目经官方记录核对。主张已对照全文核实。出处经跨模型双查核实。引言处明文把语义问题排除在工程问题之外:通讯的语义层面与工程问题无关。[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 书目经出版社记录核对。主张已对照全文核实。出处经跨模型双查核实。Weaver 导论把通讯问题分为技术、语义、效果三层;他承认这套数学理论表面上只适用于第一层,同时主张它对另两层也有帮助与启发。。Hartley 1928 年论文的出处与其范围限定同样经深度核对:它给的是无噪音情形下的状态计数,不是噪音下的容量[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 书目经官方记录核对。主张已对照全文核实。以可区分状态的计数建立资讯的对数结构雏形。该篇明言先假设没有外来干扰,不含噪音功率下的容量;把后者归给 Hartley 是引注讹传(见本站「通道与容量」页)。。其后本站另把三处出处对照原文重读:Shannon 1948 引言的语义排除句、Hartley 1928 先假设没有外来干扰的段落,以及 Weaver 导论的三层分法与他对适用范围的说法[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 书目经官方记录核对。主张已对照全文核实。出处经跨模型双查核实。引言处明文把语义问题排除在工程问题之外:通讯的语义层面与工程问题无关。[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 书目经官方记录核对。主张已对照全文核实。以可区分状态的计数建立资讯的对数结构雏形。该篇明言先假设没有外来干扰,不含噪音功率下的容量;把后者归给 Hartley 是引注讹传(见本站「通道与容量」页)。[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 书目经出版社记录核对。主张已对照全文核实。出处经跨模型双查核实。Weaver 导论把通讯问题分为技术、语义、效果三层;他承认这套数学理论表面上只适用于第一层,同时主张它对另两层也有帮助与启发。。
残余一项:本页把控制论路线视为同期的平行发展,这一点属于通史叙述,本站未对其出处另做核对,故正文不作具体归属,也不列入参考文献。
如何阅读来源注记 「书目经…核对」指作者、年份、题名与出版项已确认;不代表该来源的主张已被核对。「对照全文核实」指主张已与来源文本本身比对。 定义版本:2026-09-20。
- [1] Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. ↩
- [2] Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. ↩
- [3] Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. University of Illinois Press. ↩
新书架开架时通知我
开架通知只在新书架开架或阅读规则变更时寄出。