出身与早期教育（1916-1940）：Claude Elwood Shannon 1916 年 4 月 30 日出生于美国密歇根州 Petoskey。他在密歇根州 Gaylord 小镇长大，父亲是律师兼殡仪业者，母亲是中学校长兼德国移民的女儿。8 岁时母亲送他一本 Ziegler 的《The Contest Problem Book》，从此沉迷于数学竞赛和谜题。
1932 年 Shannon 进入密歇根大学，1936 年同时拿到电气工程学士和数学学士学位。期间他在校园做报务员，从莫尔斯电码里第一次系统理解「编码」(encoding) 和「传输」(transmission) 的工程问题——这两个问题后来成为信息论的核心。
MIT 博士与 Vannevar Bush 影响（1936-1940）：1936 年 Shannon 进入 MIT 攻读电气工程硕士，1937 年完成著名硕士论文《A Symbolic Analysis of Relay and Switching Circuits》——把布尔代数应用到电路设计，奠定了今天所有数字电路的理论基础。这篇论文 1940 年获得 Alfred Noble 奖。1940 年他在 MIT 拿下电气工程博士学位，导师是著名工程师 Vannevar Bush。
一、二战密码学：「X 系统」与陷门函数雏形（1940-1945）
加入贝尔实验室：1940 年博士毕业后，Shannon 加入贝尔实验室数学研究组。1941 年美国参战后，他被分配到「X 系统」(SIGSALY) 项目——这是盟军最高机密通信系统，把语音信号加密后通过海底电缆传输。Shannon 在这个项目里第一次系统思考「什么是信息」「信息如何度量」这两个根本问题。
1943 年秘密报告：Shannon 1943 年为 SIGSALY 写了一份内部报告《A Mathematical Theory of Cryptography》——首次用「熵」(entropy) 的概念定义信息的「不确定性」。这份报告保密到 1949 年才解密，是 1948 年公开论文的雏形。
与图灵的交流：1943 年 Shannon 在贝尔实验室午餐时遇到从英国来访的 Alan Turing 两位信息论鼻祖首次相遇，互相分享密码学思考。Turing 的「 Bombe」机器和 Shannon 的信息熵概念，构成了现代密码学的两个基础支柱。
二、1948 年论文：信息论诞生
《A Mathematical Theory of Communication》：1948 年 Shannon 在《Bell System Technical Journal》分两部分发表《A Mathematical Theory of Communication》（共 60+ 页）。这篇论文首次系统化定义：
（1）信息熵 (entropy)：H(X) = -Σ p(x) log p(x) —— 量化一个随机变量的不确定性。这是 Shannon 最天才的洞察：把「信息」从哲学问题变成可计算的数学对象。
（2）信道容量 (channel capacity)：C = max I(X;Y) —— 给定信道带宽和噪声，能可靠传输的最大信息速率。这是今天 5G/WiFi/光纤通信容量设计的理论极限。
（3）信源编码定理：任何信源的压缩下限是它的熵。这就是 zip、jpeg、mp3 等压缩算法的理论基础。
（4）信道编码定理：只要传输速率低于信道容量，就存在一种编码方式让错误率任意低。这就是今天 Reed-Solomon 码、LDPC 码、5G 信道编码的数学基础。
影响：1948 年论文立即被工程界采纳。MIT 教授 Robert Fano 评价：「这是 20 世纪最伟大、最深刻的工程论文之一。」「bit」一词由 John Tukey 在 Shannon 论文的讨论中建议，从此成为数字时代的最小单位。
三、催生三大万亿级产业
Shannon 的工作直接催生了三个万亿级产业，每一个都价值万亿美元以上：
产业 1：数据压缩（zip / jpeg / mp3 / h264）。所有主流压缩算法都基于 Shannon 的信源编码定理。今天我们能存电影、发图片、听音乐，背后都是 Shannon 1948 年的数学。
产业 2：数字通信（5G / WiFi / 光纤 / 卫星）。所有通信系统的容量设计都基于 Shannon 的信道容量定理。今天 5G 的 10 Gbps 速率极限、WiFi 6 的 9.6 Gbps 极限，都是 Shannon 容量公式的工程实现。
产业 3：纠错编码（CD / DVD / SSD / 深空通信）。CD 用 Reed-Solomon 码纠错、SSD 用 LDPC 码纠错、NASA 深空通信用 Turbo 码纠错——所有这些码都是 Shannon 信道编码定理的工程实现。没有 Shannon 1948 年的定理，人类无法登上月球（阿波罗飞船的通信系统依赖 Reed-Solomon 码）。
四、玩具发明家：预见 AI 与机器人
Shannon 是个「玩具发明家」——他在家里造了多件影响深远的玩具：
Theseus 象棋机（1950）：在家里地下室造了一台能下国际象棋的计算机，是世界上第一台会下棋的机器——比 IBM 深蓝早 47 年。Theseus 的算法核心是「minimax 搜索 + 启发式评估」——这正是今天 AlphaGo、Llama 强化学习的基础思想。
Theseus 迷宫鼠（1952）：造了一只能在迷宫中自己找路的机械鼠。这只鼠能在「尝试错误」中学习最佳路径，是强化学习 (reinforcement learning) 的物理先驱——比 Sutton & Barto 1998 年的强化学习教科书早 46 年。
杂耍机械手（1961）：造了一只会杂耍的机械手，能同时扔起 3 个球并接住。这是机器人控制理论的早期工程实现——比 Boston Dynamics 的 Spot 早 60 年。
智力玩具爱好：Shannon 还在 1950 年代发明过一套「会走路的机器人」、一个能读心术的机器（用 Bayesian 推理猜你心里想什么）、一个能解开魔方的「Hex 棋」变体。这些玩具在 70 年后都变成了主流 AI 研究方向。
五、对 AI 时代的直接遗产
Shannon 1948 年论文对今天 AI 时代有四个直接遗产：
1. LLM 的「温度参数」(temperature)。GPT/Llama 生成文本时控制随机性的「temperature」参数，本质上就是 Shannon 熵的工程化实现——温度越高，概率分布越分散，生成越随机。
2. Transformer 的「self-attention」概率分布。Transformer 论文里 attention 机制输出的 softmax 概率分布，是 Shannon 1948 年概率信息论的直接延伸。
3. KL 散度作为 loss 函数。深度学习里最常用的 KL 散度（衡量两个概率分布的差异）就是 Shannon 1951 年提出的。
4. 跨模态通信 (perplexity)。语言模型评价指标 perplexity 本质上是「信息熵」的指数化形式。
六、关键贡献总结（4 个领域）
1937-1940：电路与布尔代数——把开关电路和布尔代数连接起来，奠定数字电路基础
1943-1945：密码学——在 SIGSALY 项目中提出信息熵的雏形概念
1948-1949：信息论——发表《A Mathematical Theory of Communication》，奠定整个信息时代理论基础
1950-1961：人工智能预演——通过玩具发明预演了 AI、机器人、强化学习的关键思想
2001 年 2 月 24 日，Shannon 在马萨诸塞州 Medford 去世，享年 85 岁。他身后最大的遗产不是任何具体算法或系统，而是「用数学描述不确定性」的方法论——这个方法论在 70 年后成为人工智能的核心数学基础。今天每一个 LLM 的每一个 token 生成，背后都站着 1948 年贝尔实验室的这位 32 岁工程师。
