Trigpoint

本页由繁体中文版自动转换

Collections 书架 › Information Theory 资讯理论 › Information and Uncertainty 资讯与不确定性
「资讯就是内容」:是两回事。

资讯与不确定性

Information and Uncertainty · Shannon (1948) / Hartley (1928)
已对照来源本身 ✓ 资讯理论 · 基本定义 私下告诉编辑 ▸
三句讲透 资讯不是内容,是不确定性的削减量。
一件事带多少资讯,取决于它排除掉多少原本可能发生的情况,而不是它讲了多长、多深、多重要。
所以「资讯量」与「有没有意义」是两把不同的尺,量出来的东西互不决定。

↳ 见过反例?

资讯与不确定性 Shannon (1948) · Hartley (1928) Information and Uncertainty 资讯 = 被排除掉的那一份 机制 可能性空间 尚未揭晓 事件发生 其中一个成真 其余被排除 可能性收窄 资讯出现 量 = 被排除的份量 两轴互不决定 资讯量高 资讯量低 意义低 意义高 出乎意料而全错的断言 排除很多,却不值得信 出乎意料而正确的判断 两轴同时高,最稀有 冗长而可预测的覆述 字数不等于资讯 众所周知的重要事实 有意义,但没排除什么 四格为概念定位示意,非量测结果:本图不含座标值、比例或任何数量宣称。 图:trigpoint.pub
图 1 · 资讯出现的机制示意:先有一个可能性空间,事件发生后排除掉其中一部分,被排除的份量就是资讯。
下方两轴说明同一句话可以在资讯量与意义上落在完全不同的位置,两轴互不决定。 放大看图 ▸

一、发生什么事

Shannon 1948 年的奠基论文开宗明义做了一件现在看来仍然反直觉的事:它把「意义」从问题里拿掉[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 书目经官方记录核对。主张已对照全文核实。出处经跨模型双查核实。引言处明文把语义问题排除在工程问题之外:通讯的语义层面与工程问题无关。。原文说得很直接,通讯的语义层面与工程问题无关。这不是回避,是划界:要让资讯变成可计算、可传输、可比较的量,就必须先放弃追问它在说什么。隔年出版的《The Mathematical Theory of Communication》收入 Weaver 的导论,把通讯问题分成技术、语义、效果三层,并承认这套理论表面上只适用于第一层;不过他同时主张,它对另两层也有帮助与启发[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 书目经出版社记录核对。主张已对照全文核实。出处经跨模型双查核实。Weaver 导论把通讯问题分为技术、语义、效果三层;他承认这套数学理论表面上只适用于第一层,同时主张它对另两层也有帮助与启发。。

拿掉意义之后,剩下什么可以量?剩下可能性的排除。设想一个尚未揭晓的局面,它有一组可能的结果;当其中一个成真,其余全部被排除,而被排除的份量就是这件事带来的资讯。这个定义有个立刻可验的后果:同一句话在不同处境下的资讯量不同。对已经知道明天下雨的人,「明天会下雨」几乎不带资讯;对所有预报都说晴天的人,同一句话资讯量极高。变的不是句子,是它排除掉的东西。

再往前一步就分出两个层级。单一事件排除了多少,是那个事件的资讯量;整个局面平均而言有多难猜,是这个系统的熵。两者常被混为一谈,但它们回答的是不同的问题:一个问「这次揭晓让我知道了多少」,一个问「揭晓之前我有多不确定」。本站接下来两页分别处理。

对数结构的雏形其实更早。Hartley 1928 年的论文把讯息量与可区分状态的数量连起来,替后来的形式化铺了路[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 书目经官方记录核对。主张已对照全文核实。以可区分状态的计数建立资讯的对数结构雏形。该篇明言先假设没有外来干扰,不含噪音功率下的容量;把后者归给 Hartley 是引注讹传(见本站「通道与容量」页)。。要注意它处理的是无噪音情形,把噪音下的容量归给它是后来才产生的引注讹传。

署名要给对:对数结构的雏形归 Hartley(1928),但他处理的是无噪音情形的状态计数,不含噪音下的容量[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 书目经官方记录核对。主张已对照全文核实。以可区分状态的计数建立资讯的对数结构雏形。该篇明言先假设没有外来干扰,不含噪音功率下的容量;把后者归给 Hartley 是引注讹传(见本站「通道与容量」页)。。把资讯定义为不确定性的削减、并明文把语义排除在工程问题之外的,是 Shannon(1948)[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 书目经官方记录核对。主张已对照全文核实。出处经跨模型双查核实。引言处明文把语义问题排除在工程问题之外:通讯的语义层面与工程问题无关。。技术、语义、效果三层的分法出自 Weaver 为 1949 年的《The Mathematical Theory of Communication》所写的导论,不是 Shannon 本人的原文;Weaver 也没有把理论限在第一层,他主张它对另两层同样有帮助[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 书目经出版社记录核对。主张已对照全文核实。出处经跨模型双查核实。Weaver 导论把通讯问题分为技术、语义、效果三层;他承认这套数学理论表面上只适用于第一层,同时主张它对另两层也有帮助与启发。。三者要分开署名:压成「Shannon 提出资讯理论并区分了三个层次」会同时弄错雏形出处与三层分法的作者。

二、为什么这对你重要

你每天都在用「资讯」这个词,但用的是它的日常语感:资讯多=讲得多、讲得细、讲得专业。这套理论说那是另一回事,而这个差别会直接改变你怎么判断手上的东西。

一份三千字的会议纪录,如果它记下的全部是你事前就能预测的内容,那它的资讯量接近零,尽管它的字数不是。一份模型输出读起来条理分明、术语齐备,也可能因为它只是把你的提问重新排列而几乎没有排除任何可能性。判断的问题不该是「这段内容够不够丰富」,而是「它排除了什么我原本以为可能的东西」。前一个问题没有答案,后一个有。

这条界线还有一个更难接受的推论:资讯量高不代表对。一句断言越是出乎意料,它排除的可能性越多,资讯量就越高,而它是否为真完全是另一把尺的事。模型给出一个大胆而具体的判断,它在这套理论下确实是高资讯量的输出,这件事本身不构成任何相信它的理由。把两把尺分开,是使用这套语言的第一个代价,也是它给你的第一个好处。

反例与失效边界

第一个边界,也是最重要的一个:这套定义不是一个关于「什么是资讯」的哲学主张。它是一个为了让量化可行而做的取舍。放弃语义换来的是可计算,代价是这套理论对「这句话在说什么」永远沉默。拿它去论证意义不重要,是把一个工程学上的划界误读成本体论的判断。

第二个边界是机率从哪里来。「排除了多少可能性」预设你已经有一个可能性空间与一组机率。现实里这组机率往往是你自己的预期,不是客观频率,于是同一件事对不同的人资讯量不同,而且无法互相仲裁。这不是理论的缺陷,是它的适用条件:先确定机率是谁的,量出来的数才有意义。

第三个是最常见的实务误用:拿它当内容品质的量尺。资讯量与正确性正交,与重要性也正交。一个系统可以稳定产出高资讯量而全错的输出,这在本理论下不构成矛盾。要判断对错与轻重,得换别的工具。

Lab 实测 有实测才写

本节点暂无实测。

常见误读

所属页核验:已对照来源本身 ✓ · 内容最后修订 2026-11-14

  • 常见转述「资讯量高代表内容有价值」:两者是独立的两轴。一句完全错误的话可以有极高资讯量,一句极有意义的话也可以几乎没有资讯量。本理论只量前者,对后者不发一言。 #
  • 常见转述「Hartley 提出了资讯的容量公式」:Hartley 1928 给的是无噪音情形下可区分状态的计数,不是噪音功率下的容量。后者属 Shannon 1948 年的论文。这条讹传有流传,本站另有专页处理。 #
验证纪录

记录核查深度,不担保结论为真。

核查经过

先讲本页的考据结构,因为它与本书架其他页不同。

本页的框架陈述(资讯是不确定性的削减,且与意义正交),在 2026 年 6 月一次跨模型查证中属于被判为已定教科书典律的一类:两个模型都扫过这个概念群,第二个模型的深度覆核则集中在该轮标为有争议的出处上,没有逐条回到本页这条框架陈述。换句话说,这条陈述的验证是学科层的,不是逐句一手核对的。我们照直说,因为同一轮查证里,第一阶段确实出过两次出处错误,都是第二阶段抓回来的。

本页引用的具体出处则另有较强的依据。Shannon 1948 年论文的出处三件(期刊、卷期、DOI)与 1949 年的《The Mathematical Theory of Communication》作为锚点,皆经该轮的跨模型深度核对确认[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 书目经官方记录核对。主张已对照全文核实。出处经跨模型双查核实。引言处明文把语义问题排除在工程问题之外:通讯的语义层面与工程问题无关。[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 书目经出版社记录核对。主张已对照全文核实。出处经跨模型双查核实。Weaver 导论把通讯问题分为技术、语义、效果三层;他承认这套数学理论表面上只适用于第一层,同时主张它对另两层也有帮助与启发。。Hartley 1928 年论文的出处与其范围限定同样经深度核对:它给的是无噪音情形下的状态计数,不是噪音下的容量[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 书目经官方记录核对。主张已对照全文核实。以可区分状态的计数建立资讯的对数结构雏形。该篇明言先假设没有外来干扰,不含噪音功率下的容量;把后者归给 Hartley 是引注讹传(见本站「通道与容量」页)。。其后本站另把三处出处对照原文重读:Shannon 1948 引言的语义排除句、Hartley 1928 先假设没有外来干扰的段落,以及 Weaver 导论的三层分法与他对适用范围的说法[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. DOI 10.1002/j.1538-7305.1948.tb01338.x. 书目经官方记录核对。主张已对照全文核实。出处经跨模型双查核实。引言处明文把语义问题排除在工程问题之外:通讯的语义层面与工程问题无关。[2]Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. DOI 10.1002/j.1538-7305.1928.tb01236.x. 书目经官方记录核对。主张已对照全文核实。以可区分状态的计数建立资讯的对数结构雏形。该篇明言先假设没有外来干扰,不含噪音功率下的容量;把后者归给 Hartley 是引注讹传(见本站「通道与容量」页)。[3]Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press. 书目经出版社记录核对。主张已对照全文核实。出处经跨模型双查核实。Weaver 导论把通讯问题分为技术、语义、效果三层;他承认这套数学理论表面上只适用于第一层,同时主张它对另两层也有帮助与启发。。

残余一项:本页把控制论路线视为同期的平行发展,这一点属于通史叙述,本站未对其出处另做核对,故正文不作具体归属,也不列入参考文献。

参考文献

如何阅读来源注记 「书目经…核对」指作者、年份、题名与出版项已确认;不代表该来源的主张已被核对。「对照全文核实」指主张已与来源文本本身比对。 定义版本:2026-09-20。

  1. [1] Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. ↩
  2. [2] Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563. ↩
  3. [3] Shannon, C. E. & Weaver, W. (1949). The Mathematical Theory of Communication. University of Illinois Press. ↩

↳ 引注有误?

新书架开架时通知我

新书架开架时通知我

开架通知只在新书架开架或阅读规则变更时寄出。

试行

私下告诉编辑:更正、反例或适用性

提交只供编辑阅读,处理前不公开;处理后,编辑撰写的摘要与回应才会刊出。提交毋须注册,昵称可留空。

你想提交的是
设定公开名称后,可选择以名称致谢 ▸
不登入,直接匿名提交

登入后可在「我的」页追踪处理状态。你写的内容会保留。

你已登入:本件会连结到你的帐号,只有你和编辑看得到,方便你在「我的」页追踪状态。原文不会公开。 完整私隐政策 ▸

不连到帐号,改为匿名提交 ▸

不收集电邮。你的原文与昵称只供编辑阅读,不会公开;站上只刊载编辑撰写的摘要。真人验证由 Cloudflare Turnstile 提供;为限制滥用,系统只保存 IP 的杂凑值,不保存明文 IP。原文保存于我们的云端服务商,可应要求删除。 完整私隐政策 ▸