1. 卷积神经网络（CNN）
CNN 是处理图像数据的经典架构，其核心是卷积操作：(f * g)(i,j) = Σₘ Σₙ f (m,n)・g (i−m,j−n)
典型结构
输入图像 → 卷积层 → 池化层 → 卷积层 → 池化层 → 全连接层 → 输出经典模型
- LeNet-5：最早的 CNN 架构之一
- AlexNet：2012 年 ImageNet 冠军，开启了深度学习时代
- VGG：使用更深的网络和更小的卷积核
- ResNet：引入残差连接，解决了深层网络的退化问题
残差块的数学表达：
y = \mathcal{F}(x,\{W_i\}) + x其中 是残差函数， 是输入，通过跳跃连接直接传递。
2. 循环神经网络（RNN）
RNN 用于处理序列数据，其核心是隐藏状态的递归更新：
其中：
- 是时刻 的隐藏状态
- 是时刻 的输入
- 是权重矩阵
- 是偏置向量
LSTM（长短期记忆网络）
LSTM 通过门控机制解决梯度消失问题：
遗忘门：
输入门：
细胞状态更新：
输出门：
3. Transformer 架构
Transformer 是当前 NLP 和 CV 领域的主流架构，其核心是自注意力机制。
自注意力机制（Self-Attention）
其中：
- （Query）、（Key）、（Value）是输入通过线性变换得到的矩阵
- 是键向量的维度
- 用于缩放，防止内积过大
多头注意力（Multi-Head Attention）
其中每个头：
Transformer 编码器层
其中 FFN 是前馈神经网络：
4. 生成对抗网络（GAN）
GAN 由生成器 和判别器 组成，通过对抗训练学习数据分布：
其中：
- 是真实数据分布
- 是噪声分布
- 是生成器生成的样本
- 是判别器判断样本为真的概率
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网（Professionalism Achieves Leadership 专业造就领导者）默然。
