
如果你问今天 AI 行业”谁真正把深度学习从研究推向产品”,答案里一定有一个名字——Ilya Sutskever。他是 OpenAI 的联合创始人、首席科学家,亲手推动了 GPT 系列、DALL·E、Codex 的诞生——他不是 CEO,但他定义了 OpenAI 的技术路线。2024 年他离开 OpenAI 创办 Safe Superintelligence(SSI),投身”安全超级智能”研究。但 Ilya 的故事不只是 OpenAI。
一、问题一:算力扩大能不能换来智能——早年:从以色列到加拿大
Ilya Sutskever 1985 年出生于莫斯科(前苏联),5 岁随家人移民以色列,后辗转定居加拿大。他在加拿大成长期间展现出非凡的数学天赋——高中时期代表加拿大参加国际数学奥林匹克竞赛(IMO),是数学金牌选手。
多伦多大学本科毕业后,Ilya 进入 Geoffrey Hinton 实验室攻读博士,研究方向是神经网络——在 2000 年代神经网络是冷门方向,但 Hinton 和 Ilya 都坚信这是 AI 的未来。
二、AlexNet 与深度学习革命(2012)
2012 年 10 月,Ilya 与 Alex Krizhevsky、Geoffrey Hinton 合作发表 AlexNet——这是深度学习的”登月时刻”。
核心突破:在 ImageNet 图像识别竞赛中,把错误率从 26% 降到 15%——比第二名低 10 个百分点。
技术关键:使用 GPU 训练深度卷积神经网络 + ReLU 激活函数 + Dropout。
历史意义:AlexNet 直接点燃了深度学习革命。从此之后,所有主流 AI 公司(Google、Facebook、Microsoft)都开始投入深度学习。
AlexNet 的论文被引用超过 10 万次,是 21 世纪 AI 领域引用次数最高的论文之一。
三、加入 Google:深度学习的产业化(2013-2015)
2013 年,Ilya 加入 Google Brain 团队,担任研究科学家。
关键贡献一:TensorFlow 早期贡献。他参与 TensorFlow 早期版本的设计,让深度学习框架成为 Google 的开源战略产品。
关键贡献二:序列到序列模型(2014)。他与 Oriol Vinyals、Quoc Le 合作发表 Seq2Seq 论文,为后来的机器翻译、对话系统奠定基础。
关键贡献三:DeepMind 与 Google Brain 的早期协同。他在 Google 内部参与过 DeepMind 与 Google Brain 的协同研究。
为何离开 Google:Ilya 在 2015 年意识到,Google 是一家广告公司,不会真正把通用 AI 作为最高优先级——这成为他与 Sam Altman、Greg Brockman 共同创办 OpenAI 的关键动机。
四、OpenAI:从非营利到 GPT(2015-2024)
2015 年 12 月,Ilya 与 Sam Altman、Greg Brockman、Elon Musk 等人共同创办 OpenAI——目标是非营利、开放、通用 AI 研究。
关键贡献一:OpenAI 早期研究路线。Ilya 是 OpenAI 早期强化学习(RL)路线的核心推动者。OpenAI Gym、Universe 等早期项目都是他主导的。
关键贡献二:GPT 系列首席科学家。
– 2018 年 GPT-1:1.17 亿参数,证明生成式预训练 Transformer可以学习通用语言表示。
– 2019 年 GPT-2:15 亿参数,证明规模扩展可以提升生成质量。
– 2020 年 GPT-3:1750 亿参数,开启大模型时代。
– 2022 年 InstructGPT / ChatGPT:基于人类反馈的强化学习(RLHF),把大模型变成 AI 产品。
– 2023 年 GPT-4:1.8 万亿参数(推测),在大多数专业考试中达到人类水平。
关键贡献三:DALL·E 与多模态(2021)。Ilya 推动 DALL·E 项目,把文本生成图像变成主流研究方向。
关键贡献四:Codex 与代码生成(2021)。Codex 模型支撑 GitHub Copilot,开创 AI 编程助手品类。
五、问题二:规模化之后该做什么——董事会风波与离开 OpenAI(2023-2024)
2023 年 11 月,Ilya 参与主导了 Sam Altman 被董事会罢免事件——他与其他董事会成员认为 Altman 在 AI 安全方面不够谨慎。
事件过程:
– 11 月 17 日:OpenAI 董事会宣布 Altman 离职,Ilya 在董事会中投了关键票。
– 11 月 18-20 日:员工大规模抗议,超过 95% 员工威胁辞职。
– 11 月 22 日:Altman 复职,Ilya 失去董事会席位。
2024 年 5 月:Ilya 正式离开 OpenAI,结束 9 年的 OpenAI 生涯。
六、Safe Superintelligence Inc.(SSI)(2024-至今)
2024 年 6 月,Ilya 与 Daniel Gross、Daniel Kahneman(前以色列总理 Netanyahu 的儿子)共同创办 Safe Superintelligence(SSI)——目标非常单一:研发安全的超级智能。
SSI 的核心特征:
不卖产品。SSI 在研发出安全的超级智能之前,不会商业化任何产品。
不融资。SSI 早期由 Ilya 个人出资,不接受任何外部投资。
唯一目标。SSI 招聘公告明确写道:“我们不卖产品、不做营销、不参与竞争——只做安全超级智能。”
SSI 的资金:2024 年底,SSI 获得 a16z、Sequoia 等机构 10 亿美元投资,估值 50 亿美元。Ilya 坚持 SSI 不会过早商业化。
七、一条被验证的路线:押注规模化预训练的后果
| 2012 | AlexNet 时代——深度学习的”图片体验时刻” |
| 2013-2015 | Google 时代——深度学习产业化 |
| 2015-2024 | OpenAI 时代——从非营利到 ChatGPT,定义了大模型时代 |
| 2024-至今 | SSI 时代——安全超级智能的孤军奋斗者 |