什么是深度学习？

1. 卷积神经网络（CNN）

深度学习（Deep Learning）是以多层神经网络为底座的机器学习方法，构成包括卷积神经网络（CNN）、循环神经网络（RNN）、Transformer与生成对抗网络（GAN）。深度学习解决的是复杂感知与生成任务难以用规则描述的问题，并不解决训练算力成本高与事实性弱的问题。

典型结构

输入图像 → 卷积层 → 池化层 → 卷积层 → 池化层 → 全连接层 → 输出

经典模型

残差块的数学表达：

y = mathcal{F}(x,{W_i}) + x

其中  是残差函数， 是输入，通过跳跃连接直接传递。

2. 循环神经网络（RNN）

RNN 用于处理序列数据，其核心是隐藏状态的递归更新：

其中：

•  是时刻  的隐藏状态
•  是时刻  的输入
•  是权重矩阵
•  是偏置向量

LSTM（长短期记忆网络）

LSTM 通过门控机制解决梯度消失问题：

遗忘门：

输入门：

细胞状态更新：

输出门：

3. Transformer 架构

Transformer 是当前 NLP 和 CV 领域的主流架构，其核心是自注意力机制。

自注意力机制（Self-Attention）

其中：

• （Query）、（Key）、（Value）是输入通过线性变换得到的矩阵
•  是键向量的维度
•  用于缩放，防止内积过大

多头注意力（Multi-Head Attention）

其中每个头：

Transformer 编码器层

其中 FFN 是前馈神经网络：

4. 生成对抗网络（GAN）

GAN 由生成器  和判别器  组成，通过对抗训练学习数据分布：

其中：

•  是真实数据分布
•  是噪声分布
•  是生成器生成的样本
•  是判别器判断样本为真的概率