互信息
它為零才等於真正的獨立,而且抓得到相關係數看不見的非線性依賴。
代價是它完全對稱,因此它告訴你「有關」,永遠不告訴你「誰影響誰」。
兩側各自是知道對方之後仍然剩下的部分。
帶長僅示結構關係,不代表任何比例。 放大看圖 ▸轉發 PNG ▸
一、發生什麼事
「熵」量的是單一對象的不確定性。這一頁開始量兩個之間。做法很直接:先看其中一個原本有多不確定,再看知道另一個之後它還剩多少不確定,兩者的差就是它們共享的資訊量。
這個構造有幾個乾淨的性質。它永遠非負,也就是知道一件事不會讓你對另一件事更不確定,至少平均而言不會。它完全對稱:X 告訴你關於 Y 的量,等於 Y 告訴你關於 X 的量。而最有用的一條是:它為零,當且僅當兩者統計獨立。
最後這條是它與相關係數的關鍵差別。相關係數只捕捉線性關係,因此相關係數為零並不排除兩者有強烈的依賴,只是那個依賴不是直線形狀的。互信息沒有這個盲點,任何形式的統計依賴都會讓它大於零。代價是計算成本:在連續變數與高維情形下,從有限樣本估計它相當困難,實務上得靠各種代理方法,而那些方法各有自己的偏差。
這個量也是通道容量的核心:容量正是在所有可能的輸入分佈上,讓這個共享資訊量最大的那個值[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. 書目經官方記錄核對。主張已對照全文核實。原文以「傳輸速率」之名定義這個量(來源的熵減去收到訊號後仍剩的條件熵),並以它對所有輸入來源取最大值來定義通道容量。全文沒有使用「mutual information」一詞。。也就是說,「通道與容量」那條硬邊界,量的正是這一頁的東西。
還有一條標準推論值得記住,它處理的是資訊在流程中的走向:一條資訊經過任何加工之後,它與原始來源的共享量只會減少或持平,不會增加。加工可以讓資訊更好用、更易讀,但不能無中生有。這條推論屬教科書層的標準結果,僅作為方向性提示。
至於名字,要分兩段記:這個量歸 Shannon 1948 年的論文,原文稱之為傳輸速率[1]Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656. 書目經官方記錄核對。主張已對照全文核實。原文以「傳輸速率」之名定義這個量(來源的熵減去收到訊號後仍剩的條件熵),並以它對所有輸入來源取最大值來定義通道容量。全文沒有使用「mutual information」一詞。;「互信息」這個術語歸 Fano,不歸 Shannon[2]Fano, R. M. (1961). Transmission of Information: A Statistical Theory of Communications. Cambridge, MA: MIT Press. 書目經多源交叉核對。術語早於本書的使用依多源一致轉述。「互信息」一詞歸 Fano。有學術史記述指出,他在 MIT 的課上已使用這個詞(引其 1952 年的課程講義),早於本書;本頁因此只把本書當作常被引用的出處,不當作術語首見。。
二、為什麼這對你重要
若把訊號定義為「能穩定降低不確定性的輸入」,這個定義本身沒有給量。這一頁給了:共享資訊量就是那個量。
實務上你不會真的去計算它,但它提供的提問方式可以直接用:如果拿掉這一項,我的結論會不會不同。這個問句是共享資訊量的日常版本,因為它問的正是「知道這件事之後,我對結論的不確定性有沒有變」。用它去審一份給模型的脈絡,多數段落會當場出局,這不是因為它們錯,是因為它們不改變任何東西。
第二個用處是拆穿一個很常見的誤判。有人拿相關係數說兩件事無關,然後停止調查。這一頁說那個結論太強了:相關係數為零只排除直線關係,而現實裡的依賴常常是有轉折的、有閾值的、分段的。要主張獨立,需要比相關係數更強的證據。
第三個用處帶著警告。這個量完全對稱,所以它永遠不會告訴你方向。兩件事共享很多資訊,可能是甲影響乙、乙影響甲、或兩者都被第三件事影響。看到高共享量就推論因果,是把一個對稱的量當成有向的量用。要處理方向需要另一族含時序的變體,本書架因其技術密度未收。
Lab 實測 有實測才寫
本節點暫無實測。
如何閱讀來源註記 「書目經…核對」指作者、年份、題名與出版項已確認;不代表該來源的主張已被核對。「對照全文核實」指主張已與來源文本本身比對。「依多源一致轉述」指主張建立於多份彼此一致、轉述該來源的資料,而非原文件本身。 定義版本:2026-09-20。
新書架開架時通知我
開架通知只在新書架開架或閱讀規則變更時寄出。