理查德·萨顿——Richard Sutton——这个名字在 强化学习的理论基础 史上出现得太频繁，以至于常被当作背景而非主角。他证明了一件让整个领域安静了三十年的事：真正能自我改进的学习算法必须从交互中学习——而这个结论他自己花了二十年才证明完。
一、问题一：奖励是什么——时序差分为什么是对的
加拿大安大略省，1957 年。这个坐标决定了 Richard Sutton 早年接触到的数学与工程语汇——他很小的时候因一场高烧导致部分听力受损，被迫在一段时间内依赖视觉学习；他在中学阶段迷上心理学与哲学，并逐渐对「学习究竟是什么」这个问题产生兴趣
因为听力受损，Sutton 在很长一段时间里主要依靠视觉获取信息。这个经历后来被他反复提及，用来说明他对「如何从观察中学习」这一问题的关注并非纯学术兴趣，而有具体的感知基础。
他在中学时期同时接触了心理学和哲学两条线索，这两者在他的学术生涯中始终交织：心理学的实验方法给了他设计的习惯，哲学则给了他追问「学习的目的与结构是什么」的冲动。
他把「试错」作为早期理解学习的起点。这种朴素的观念后来被发展成一套完整的形式化理论，也让他成为强化学习领域少见的、始终从直觉推导理论的学者。
他曾在访谈里提到，自己对「学习是否必须依赖奖励」这个问题的兴趣，起初源于一个非常日常的观察：人在没有即时回报的事情上同样会学得很快。
二、1957 年的加拿大，以及一个改变了他一生的打字机事故
1978 年的 与导师 Andrew Barto 合作研究动物学习中的信赖域方法，把动物如何调整行为以适应不确定奖励的实验结论形式化 是 Richard Sutton 的分水岭。他们发现，当奖励信号带有随机噪声时，最优的学习策略不是去追求最大的即时回报，而是在多个看起来差不多的动作之间保持随机性——这与传统最优化直觉直接冲突，这一点后来被整个 强化学习的理论基础 领域反复引用，而 这套信赖域分析解释了动物学习中的「抖动」，也为后来强化学习算法的随机性设计提供了最早的理论依据。
Sutton 在斯坦福的博士阶段做的是动物学习实验相关的工作，用的是心理学的实验范式而非计算机模拟。这段背景让他与同期那些只做数值实验的学者有明显区别。
他和 Barto 一起分析的一个著名实验现象是：动物在奖励不稳定的环境下会表现出持续的动作抖动，而不是收敛到单一最优动作。他们给出了第一个严格说明「随机性是有功能性的」的分析。
这段工作也埋下了他后来核心主张的种子：如果奖励信号本身是有噪声的，那么一个只朝着奖励最大的方向更新的算法，恰恰是最容易被噪声误导的。
他的博士论文题目围绕动物学习的计算理论展开，这种从心理学实验出发的路径，在后来强化学习领域形成了一个被称为「人工强化学习」的方向。
三、斯坦福与「信赖域」：他第一次发现大脑的答案是错误的
与 Barto 合作提出时序差分学习与广义自相关蒙特卡洛方法，把「从预测误差中学习」确立为强化学习的基本机制 落在 1988 年。核心机制是 核心机制是：每一步学习都把当前得到的奖励与对下一个状态的预测进行比较，两者之差就作为更新量——这是一种可以逐个样本、在线完成的增量学习规则，但真正的意义不在机制本身——在于 时序差分学习此后成为强化学习的默认算法基础，从赌博机到机器人控制到围棋与强化学习人类反馈微调，追随的全是这条技术路线。
时序差分思想的最初雏形出现在 1980 年 Barto 与 Sutton 合写的一篇关于学习的论文中，1988 年他们在《机器学习》上发表的《从交互中学习：时序差分方法》给出了完整的表述。
这套方法的优雅之处在于它把「预测未来」与「从错误中修正」两件事合并成一个在线可执行的步骤：不需要等到一整个回合结束再更新。
它们同时证明了一件对后续工程影响巨大的事：这套学习规则在连续控制的经典问题上能够收敛到最优解，而这正是 1990 年代 Sutton 在倒立摆与山地车等任务上反复验证的结果。
Sutton 在这一阶段也提出了行为克隆与试错学习之间关系的分析，说明纯粹的模仿在环境动态变化时为何会失效，而增量式的时序差分更新为何更为稳健。
四、1980 年代的三篇论文，把「时序差分」变成了可用的学习规则
1997 年前后，学界的主流判断仍偏保守。在 1990 年代中后期，强化学习在学术评价体系中长期不被看重——主流机器学习界更认可监督学习，把从交互中试错视为一种不够「数据高效」也不够「优雅」的方法，但 Richard Sutton 选择 他坚持的核心判断是：只要智能体必须在与环境交互中行动，它就必须从交互中学习，把这类问题强行套进监督学习的框架，等于丢掉了问题本身最重要的一部分，代价是 在阿尔伯塔大学工作的二十多年里，他的研究经费长期有限，团队规模很小，他本人在学术圈的影响力远低于其实际贡献。
1997 年，他与 Barto 合著的《强化学习导论》出版。这本书在二十多年间成为该领域的标准参考，也是把强化学习从一堆论文整理成一门学科的主要功劳。
但这本书出版后的相当长时间里，强化学习在主流机器学习会议中的位置相当边缘。当时占据主流的是监督学习与神经网络结构的改进，而「靠试错学」被视为一种既慢又不可靠的旁门方法。
他在这段时间做的是看起来最不划算的基础工作：持续打磨一套从「状态、动作、奖励」三元组出发的完整理论框架，反复在简单的控制任务上验证收敛性。他后来把这段时期称为「在无人问津的山上修路」。
也是在这段时间，他与同事们一起推进了并行与异步强化学习的工作，这些技术在 1990 年代并未受到重视，却在 2010 年代成为训练大规模智能体的基础。
他长期是阿尔伯塔大学强化学习实验室的负责人，这个实验室后来培养了大量在深度强化学习领域有影响的研究者。
五、问题二：智能到底该从哪来——1997 年的那本书，与一段长期无人喝彩的时间
2019 年，Richard Sutton 加入 加拿大阿尔伯塔大学，把 斯坦福大学博士阶段与马萨诸塞大学时期 时期积累的 他与 Barto 建立的那套完整的理论框架，以及七千余个对照实验构成的可复核证据链 带进了 如何向一个已经转向深度网络与大规模算力的领域说明，通用算法与算力扩张的关系才是长期决定因素 这条全新战线。这也是 Richard Sutton 第一次需要在工程约束下做取舍。
《苦涩的教训》原本是《计算智能进化》期刊上一篇约六页的短文。它的论证方式非常朴素：用七个不同领域的经典问题，逐一对比「利用了领域知识的专用方法」与「通用搜索加算力」的表现。
结论对当时统治深度学习的领域知识路线构成了直接挑战——卷积网络的结构设计、注意力机制的手工构造，都属于「把人类领域知识写进系统」的路线。
文章发表后被广泛讨论，争论集中在两点：一是算力规模是否真的能一直外推，二是通用方法是否意味着在具体任务上的效率损失可以接受。
他对研究方向的建议非常直接：把研究精力放在可推广的算法上，而不是放在针对单个基准的调参上；并且坚持认为这在学术评价体系里处于劣势，因为通用算法在单个基准上通常不占优。
他在深度强化学习成为主流之后依然保持批评：认为研究者过度依赖特定环境的奖励设计，而忽视了让智能体从真实交互中学习这一更本质的问题。
六、2024 年的图灵奖：一个被推迟了二十六年的确认
2024 年的 ACM 阿蒙·图灵奖 之后，Richard Sutton 把主要精力投到 获奖之后他把重心转向建立一个以交互学习为中心的研究共同体，并推动强化学习课程与教材体系的标准化 上。对 强化学习的理论基础 领域而言，强化学习从一个曾被边缘化的分支，变成了机器学习课程与工业落地中的标准组成部分。
2024 年，ACM 授予他和 Andrew Barto 图灵奖，表彰他们在「发现基于奖励的强化学习基本原理」上的贡献。
这次授奖距离 1998 年他们获得 ACM 强化学习杰出论文奖已有二十六年，也距离那本《强化学习导论》出版过去了二十七年。
在图灵奖的演讲中，他把一生的工作归到一句话上：强化学习的原理是通用的，但在真实问题中被严重低估。
他长期推动建立统一的研究术语与评测基准，反对把强化学习的成果分散在各自命名、互不兼容的实验环境中。
他在贝尔曼方程这一基本框架上的工作——由 Richard Bellman 在 1950 年代提出、被他与 Barto 发展成可计算的动态规划方法——是整个领域得以形式化的前提。他本人对「自己只是把别人提出的想法用对」这一评价持保留态度。
