深度学习是怎么诞生的?

深度学习(Deep Learning)的诞生历经突破:1986年反向传播算法解决多层训练难题、2006年预训练结合GPU算力铺路、2012年AlexNet以8层网络把ImageNet错误率从26%降到15%,解决多层网络训不出来、难以实用的问题,并不解决深度网络对数据算力的依赖。

深度学习(Deep Learning)的诞生历经突破:1986年反向传播算法解决多层训练难题、2006年预训练结合GPU算力铺路、2012年AlexNet以8层网络把ImageNet错误率从26%降到15%,解决多层网络训不出来、难以实用的问题,并不解决深度网络对数据算力的依赖。

  1. 早期的神经网络(1940s-1980s)
    神经网络的概念最早可以追溯到1943年,科学家Warren McCulloch和Walter Pitts提出了“人工神经元”模型,试图用数学模拟人脑神经元。后来,1958年,Frank Rosenblatt发明了“感知机”(Perceptron),一个简单的单层神经网络,能识别基本图案,比如区分“X”和“O”。
    但当时的神经网络有个致命问题:层数一多就训不好。1969年,Marvin Minsky在《感知机》一书中指出,单层感知机无法解决复杂问题(比如“异或”逻辑),这让神经网络研究陷入低谷,资金和兴趣都大幅减少。
  2. 反向传播的突破(1980s)
    直到1986年,Geoffrey Hinton等人提出了“反向传播”(Backpropagation)算法,解决了多层神经网络的训练难题。这个方法让网络能通过误差反向调整参数,重新点燃了研究热情。但当时算力和数据有限,神经网络还是没能大展拳脚。
  3. 深度学习的崛起(2000s-2010s)
    真正让深度学习起飞的,是21世纪初的三大条件:
    • 大数据的爆发:互联网的普及产生了海量数据。YouTube每天上传数百万小时的视频,Instagram上有亿万张图片,Twitter上有无数条文本,这些都成了深度学习的“粮食”。没有数据,深度学习就是无米之炊。
    • 算力的飞跃:传统CPU太慢,训练一个深层网络可能要几个月。但GPU(图形处理器)的出现彻底改变了局面。2000年代,NVIDIA的GPU开始被用于科学计算,速度比CPU快几十倍。后来,谷歌还推出了TPU(Tensor Processing Unit),专为AI设计,训练时间从几天缩短到几小时。
    • 算法的突破:早期多层网络容易“卡住”(梯度消失或爆炸),2006年,Hinton提出了“预训练”方法,用无监督学习初始化网络。后来,又有了更好的激活函数(像ReLU,Rectified Linear Unit)和优化算法(像Adam),让深层网络变得可行。

这些条件在2010年左右凑齐,深度学习迎来了爆发。2012年,一个叫AlexNet的深度神经网络在ImageNet图像识别比赛中大放异彩。它有8层(在当时算很深了),把错误率从26%降到15%,碾压了传统方法。这场比赛成了深度学习的“成名战”,从此它成了AI的主流。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

RLHF是什么?

RLHF 是把人类偏好作为奖励信号来微调大语言模型的方法,通常先做监督微调、再训练奖励模型拟合人类偏好、最后用强化学习算法优化策略,核心是让模型的输出从能生成内…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI安全是什么?

AI 安全是研究人工智能系统面临的安全风险并建立防御机制的研究与工程领域,覆盖对抗攻击、提示词注入、数据中毒、模型窃取、成员推断、后门与偏见歧视等威胁面,核心是…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

混合专家模型是什么?

混合专家模型是把前向计算按输入路由到部分参数子集上执行的稀疏化架构,核心是在不激活全部参数的前提下扩大模型容量,能力包括门控路由、专家容量约束与负载均衡机制。它…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI制药是什么?

AI 制药是把人工智能应用于新药研发全流程的交叉领域,覆盖靶点发现、分子设计、化合物筛选、性质预测与临床试验设计,核心是用计算预测替代部分湿实验来压缩试错周期,…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

人工智能是什么?

人工智能是研究、开发用于模拟、延伸和扩展人类智能的理论、方法与技术体系,核心是用从数据中归纳出的概率性模型替代人工编写的确定性规则,能力包括机器学习、深度学习、…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

提示词注入是什么?

提示词注入是通过精心构造的输入内容绕过 AI 系统的指令优先级或安全限制、诱导大模型执行非预期行为的攻击技术,核心是把恶意指令伪装成正常输入混入上下文,能力包括…
📅 10-30 · 👁 2026年10月30日