每日一式 · No.011
✦ 機率季 · 收官
H = −Σ p·log2 p
資訊熵 · Information Entropy
把「不確定」本身量出來 —— 驚訝的期望值,以位元計價。
📜 公式的身世
馮·紐曼的餿主意,與獨輪車上的天才
夏農算出這個量的時候,不知道該叫它什麼,去請教馮·紐曼。答:叫「熵」。理由有二 —— 第一,你的公式跟統計力學的熵長得一樣;第二,「沒有人真正懂熵是什麼,辯論時你永遠佔上風」。(這段對話出自夏農本人的回憶轉述。)夏農在貝爾實驗室也是傳奇:走廊上騎獨輪車拋接球、造出第一隻會走迷宮學路的電子老鼠,還做了一台「終極機器」 —— 撥下開關,盒裡伸出一隻手把開關撥回去,收工。定義了資訊的人,最懂什麼叫不說廢話。
🌍 它今天在哪裡上工
🗜
ZIP 與摩斯密碼 —— 常見的編短、罕見的編長 —— 摩斯把 E 編成一個點,ZIP 用 Huffman 樹,都在逼近夏農劃下的熵下限。
🟩
Wordle 的最佳起手 —— 每猜一次就是買一次資訊 —— 用熵算哪個詞的期望資訊量最大,數學 YouTuber 靠這招算出神起手詞。
🔐
密碼強度計 —— 網站說你的密碼「弱」,它算的是熵:組合數取對數 —— 多加一個字元,常比換特殊符號更有效。
機率季的前四課,都在算「某件事發生的機率」。收官這一課把鏡頭拉遠,問一個更根本的問題:一整包不確定性,總共有多「重」?1948 年,克勞德 · 夏農用一篇論文回答了它,順手發明了一個單位 —— bit(位元),然後手機、網路、壓縮、AI 的整個時代,從那一頁開始。
❓白話版定義:熵 = 平均要問幾個「是非題」,才問得出答案。答案越難猜,熵越高;答案幾乎註定,熵趨近零。它是「不確定性的體積」。
四章:先給「驚訝」定價(一則新聞值幾個 bit),再讓 008 的期望值上工(熵 = 驚訝的期望值),再看它最硬的本事(壓縮的地板 —— ZIP 為什麼有極限),最後走進工程日常:密碼強度、玻爾茲曼的墓碑、與你天天在用的 AI 的損失函數。
Part 1 · 拉了就懂（白話）
I
第一章 · 給「驚訝」定價：資訊 = −log₂ p
「太陽從東邊升起」值 0 bit；「嘉義下雪」爆表 —— 越罕見，越值錢。
📰兩則新聞:「明天太陽從東邊升起」—— 你聳聳肩,零資訊;「明天嘉義下雪」—— 你跳起來,資訊爆量。差在哪?差在機率。夏農的定價公式:一件機率 p 的事發生了,它帶來的資訊(驚訝)= −log₂ p 個 bit。為什麼用 log?因為兩件獨立的驚訝要能相加 —— 機率相乘、驚訝相加,「乘法變加法」,ln 那堂的超能力正式上工。基準刻度:猜對一次五五開 = 1 bit;機率每砍一半,就 +1 bit。
互動 · 驚訝尺：從擲硬幣到大樂透，都在同一把尺上
機率 p1 / 2
驚訝（資訊量）= −log₂ p1.00 bit
等價說法≈ 連對 1.0 次擲硬幣
玩玩看，注意這些
- 按晶片跳地標:硬幣 1 bit → 骰子出 6 2.58 → 指定撲克牌 5.70 → 大樂透頭獎 23.7 bits。中頭獎的驚訝,「只」等於連續猜對 24 次擲硬幣 —— 對數把天文數字馴服成一把短尺。
- 拉滑桿感受刻度:p 每砍半,尺上剛好走一格(+1 bit)。這是 log 的簽名:等比變等距。
- 注意「必然事件」(p=1):驚訝 = 0 —— 早就知道的事,說了等於沒說。資訊,是對「不知道」的度量。
一句話帶走:資訊 = 驚訝 = −log₂ p:必然的事零 bit,五五開 1 bit,機率砍半就加一 bit —— 獨立的驚訝可以相加,全靠 log。
II
第二章 · 熵 = 驚訝的期望值：008 的 E 上工了
一枚偏心硬幣的不確定度 —— 五五開最難猜，九一開幾乎白問。
⚖️單一事件有「驚訝」,那整個隨機來源(一枚硬幣、一顆骰子、明天的天氣)呢?就把每種結果的驚訝,用它的機率加權平均 —— 也就是取期望值:H = E[驚訝] = Σ p·(−log₂p)。008 的支點,今天量的不是錢,是「難猜的程度」。試一枚偏心硬幣:偏到 9:1 時,你幾乎每次都猜得中(H 很低);調回 5:5,才是最難猜的巔峰(H = 1 bit)。
互動 · 偏心硬幣的熵曲線：公平 = 最難猜 = 熵最大
正面的驚訝 −log₂p—
反面的驚訝 −log₂(1−p)—
熵 H = 加權平均—
怎麼看這張圖
- 金色曲線是 H(p)。p=0.5 時登頂 1 bit —— 公平硬幣是「最難猜」的極致,每一次投擲都給足一整個 bit 的新資訊。
- 拉向 0.9:正面的驚訝很小(常常發生),反面的驚訝很大(罕見)—— 但罕見的權重也小,加權下來 H 只剩 0.47 bit。可預測 = 低熵。
- 推到極端 p→1:H→0 —— 結果註定,問了白問。熵在「全知」處歸零,在「全然對半」處登頂 —— 它量的正是你的無知的體積。
🗣️ 為什麼叫「熵」?一段真實軼事:夏農問馮 · 諾伊曼該給這個量取什麼名字,馮 · 諾伊曼答:「叫熵。第一,你這式子在統計力學裡早就有人用;第二,反正沒人真的知道熵是什麼,辯論時你穩贏。」—— 第四章我們會看到,這個玩笑其實深得很。
一句話帶走:熵 H = 驚訝的期望值 = Σ p·(−log₂p)。公平(均勻)= 最大熵 = 最難猜;越偏心越可預測,熵越低。
Part 2 · 帶入深度
III
第三章 · 熵是壓縮的地板：ZIP 為什麼有極限
常見的給短碼、罕見的給長碼 —— 聰明可以貼近地板，但沒有人能穿過它。
🗜️你要每天發電報回報一座城市的天氣(四種:☀️☁️🌧️❄️)。笨方法:每種都用 2 bits(00/01/10/11)。聰明方法(摩斯電碼的智慧:最常用的 E 只有一個「·」):給常見的短碼、罕見的長碼。夏農證明了一件石破天驚的事:不管你多聰明,平均碼長永遠 ≥ 熵 H —— 熵是壓縮的地板。ZIP、MP3、JPEG 全在做同一件事:貼著這塊地板飛。
互動 · 三座城市：笨編碼 vs 聰明編碼 vs 熵地板
笨編碼（固定 2 bit）2.000 bit / 天
聰明編碼（短碼給常客）—
熵地板 H—
聰明比笨省下—
怎麼看這張圖
- 均勻之城(四種天氣各 ¼):H = 2.000,聰明編碼也只能 2.000 —— 均勻分布無從壓縮,每種都一樣常見,沒有「常客」可以優待。
- 晴天之城(½, ¼, ⅛, ⅛):聰明編碼 0 / 10 / 110 / 111 → 平均 1.750 bit,恰好踩在地板 H=1.750 上 —— 完美壓縮的示範品。
- 沙漠之城(85% 晴):聰明編碼降到 1.25,但地板 H 只有 0.848 —— 還有距離。想更貼地板?得把好幾天打包一起編(夏農的招)。但無論怎麼打包,0.848 就是穿不過的地板。
✦ 夏農源碼定理(一句話版):平均碼長 ≥ H,且可以任意逼近。這給了熵一個看得見摸得著的身分:它不是抽象哲學,它是「這個資訊源本質上每次值多少 bit」的實價 —— 壓縮軟體再進步一萬年,也只能貼近它,不能低於它。
一句話帶走:常見給短碼、罕見給長碼,平均碼長可貼近但永不低於熵 —— H 是壓縮的地板,ZIP 與 MP3 都在這塊地板上飛行。
IV
第四章 · 熵無所不在：從你的密碼，到宇宙與 AI
每多 1 bit，駭客的工作量 ×2 —— 然後我們去看玻爾茲曼的墓碑。
🔐先來一個工程師的日常:密碼強度,單位就是 bit。一個從 N 種字元裡隨機挑 L 個字的密碼,熵 = L × log₂N —— 對攻擊者而言,這就是「要猜的是非題數」。每多 1 bit,暴力破解的工作量翻一倍。注意公式的形狀:長度 L 乘在外面 —— 加長,比加符號划算得多。
互動 · 密碼熵儀表（假設攻擊方每秒試 10¹⁰ 組）
玩玩看，注意這些
- 先看反例:8 位純數字(生日式密碼)只有 26.6 bits —— 儀表深陷紅區,破解時間不到一秒。
- 調到 12 位大小寫+數字:71 bits,已是千年級。再加長到 16 位 → 95 bits,綠區,追上宇宙尺度。
- 做個對照實驗:「加 4 個長度」和「換更大的字元集」哪個漲得快?—— 長度贏,因為 L 是乘數。這就是「四個隨機單字勝過一串火星文」的數學根據。
最後,把鏡頭拉到最遠 —— 這把量「無知」的尺,量遍了世界:
🪦玻爾茲曼的墓碑
S = k·log W —— 刻在他維也納的墓碑上。熱力學的熵與夏農的熵是同一條公式:宇宙的亂度,與訊息的亂度,是失散的雙胞胎。馮 · 諾伊曼的玩笑,其實是預言。
🤖AI 的損失函數
語言模型訓練時最小化的「交叉熵」,白話就是「對下一個字的平均驚訝」。你天天在用的模型,一生只做一件事:降低對世界的驚訝。
📏回 010 · 貝氏的握手
信念尺上,一件證據的平移距離 = log₂(概似比) —— 證據的強度,原來就是以 bit 計價的資訊量。兩堂課在此合流。
❓二十個問題
每個好的是非題砍掉一半可能 = 1 bit;20 題 = 2²⁰ ≈ 一百萬 —— 所以「二十問」真能從百萬物件中鎖定一個。
🧬DNA
每個鹼基四選一 = 2 bits;人類基因組約 60 億 bits ≈ 750 MB —— 造一個人的說明書,比一部電影還小。
📡1948 · 一篇論文
夏農《通訊的數學理論》定義了 bit、熵、通道容量 —— 手機、Wi-Fi、光纖、壓縮,整個資訊時代的地基,一次打完。
📐 共同的靈魂:熵量的不是「東西」,是「不知道」。凡是有不確定的地方 —— 天氣、密碼、氣體分子、下一個字 —— 就有這把尺。而「獲得資訊」,永遠等於「熵的減少」:學習,就是把驚訝一bit一bit地買下來。
一句話帶走:密碼熵 = L·log₂N,每 bit 讓破解翻倍、長度是乘數;而同一把尺,量著氣體、基因、與 AI 的驚訝 —— 熵,是「無知」的通用貨幣。
把整堂課、也把整季收成一句話 ——
熵,把「不確定」本身變成了可以計價的東西。
資訊是驚訝,熵是驚訝的期望值;
它是壓縮穿不過的地板、密碼強度的單位、
玻爾茲曼墓碑上的公式、AI 一生追逐的損失。
機率季五塊拼圖到齊:期望值給目標、大數給承諾、
常態給形狀、貝氏給學習、熵給度量。
單次是骰子,萬次是定律,而定律 —— 可以被量了。