数智化转型网szhzxw.cn 数字化转型1000问 深度学习是怎么诞生的?

深度学习是怎么诞生的?

数字化转型1000问-数字化转型网szhzxw.cn
数字化转型1000问-数字化转型网szhzxw.cn

深度学习并不是一夜之间冒出来的,它的发展经历了漫长的积累和几次关键突破。要理解它的起源,我们得稍微回顾一下历史。

  1. 早期的神经网络(1940s-1980s)
    神经网络的概念最早可以追溯到1943年,科学家Warren McCulloch和Walter Pitts提出了“人工神经元”模型,试图用数学模拟人脑神经元。后来,1958年,Frank Rosenblatt发明了“感知机”(Perceptron),一个简单的单层神经网络,能识别基本图案,比如区分“X”和“O”。
    但当时的神经网络有个致命问题:层数一多就训不好。1969年,Marvin Minsky在《感知机》一书中指出,单层感知机无法解决复杂问题(比如“异或”逻辑),这让神经网络研究陷入低谷,资金和兴趣都大幅减少。
  2. 反向传播的突破(1980s)
    直到1986年,Geoffrey Hinton等人提出了“反向传播”(Backpropagation)算法,解决了多层神经网络的训练难题。这个方法让网络能通过误差反向调整参数,重新点燃了研究热情。但当时算力和数据有限,神经网络还是没能大展拳脚。
  3. 深度学习的崛起(2000s-2010s)
    真正让深度学习起飞的,是21世纪初的三大条件:
    • 大数据的爆发:互联网的普及产生了海量数据。YouTube每天上传数百万小时的视频,Instagram上有亿万张图片,Twitter上有无数条文本,这些都成了深度学习的“粮食”。没有数据,深度学习就是无米之炊。
    • 算力的飞跃:传统CPU太慢,训练一个深层网络可能要几个月。但GPU(图形处理器)的出现彻底改变了局面。2000年代,NVIDIA的GPU开始被用于科学计算,速度比CPU快几十倍。后来,谷歌还推出了TPU(Tensor Processing Unit),专为AI设计,训练时间从几天缩短到几小时。
    • 算法的突破:早期多层网络容易“卡住”(梯度消失或爆炸),2006年,Hinton提出了“预训练”方法,用无监督学习初始化网络。后来,又有了更好的激活函数(像ReLU,Rectified Linear Unit)和优化算法(像Adam),让深层网络变得可行。

这些条件在2010年左右凑齐,深度学习迎来了爆发。2012年,一个叫AlexNet的深度神经网络在ImageNet图像识别比赛中大放异彩。它有8层(在当时算很深了),把错误率从26%降到15%,碾压了传统方法。这场比赛成了深度学习的“成名战”,从此它成了AI的主流。

声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于网络;编辑/翻译:数字化转型网(Professionalism Achieves Leadership 专业造就领导者)默然。

免责声明: 本网站(http://www.szhzxw.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。 本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。https://www.szhzxw.cn/81035.html
联系我们

联系我们

17717556551

邮箱: editor@cxounion.org

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部