Capsule Network：胶囊网络

一、什么是Capsule Network：胶囊网络

Capsule Network（胶囊网络）是 Geoffrey Hinton 等人针对卷积神经网络「无法捕捉空间层级关系与姿态信息」的局限而提出的新型网络架构。其核心是用「胶囊（capsule）」这一组向量替代标量神经元，向量方向编码实体姿态（位置、方向、比例、形变），向量长度编码实体存在概率；并通过动态路由（Dynamic Routing by Agreement）算法让低层胶囊的输出被分配到上层对应类别胶囊。Capsule Network 在小样本识别、对抗鲁棒性、视角变化场景上具有 CNN 缺乏的优势，是通向「几何深度学习」与可解释视觉的重要探索。

二、原理

1. 胶囊替代神经元：用向量（或矩阵）胶囊替代标量神经元，向量方向编码姿态、长度编码存在概率 → 2. 初级胶囊提取特征：CNN 主干提取低级特征，多个初级胶囊并行输出向量 → 3. 预测向量计算：每个初级胶囊对高层胶囊产生「预测向量」prediction_i|j = W_ij · u_i → 4. 动态路由：通过迭代一致性聚类（routing by agreement），把预测向量与高层胶囊输出最一致的低层胶囊分配到该高层 → 5. Squash 激活：对高层胶囊输出做 squash 非线性，把向量长度压缩到 0-1 区间同时保留方向 → 6. 损失函数：采用 Margin Loss，对存在性做分类损失、对姿态做重构损失联合训练

三、信息卡片

四、历史时间线

2011 年：Hinton 在 ICLR Workshop 发表《Transforming Auto-Encoders》，首次提出「胶囊」概念雏形

• 2017 年 10 月：Hinton 等在 NIPS 发表《Dynamic Routing Between Capsules》，正式确立胶囊网络框架
• 2018 年：Hinton 团队发布 Matrix Capsules with EM Routing，把标量胶囊升级为 4×4 姿态矩阵并用 EM 路由
• 2019-2020 年：胶囊网络被扩展到生成对抗（CapGAN）、图神经网络（Graph Capsule）、3D 点云等场景
• 2021-2023 年：随着 ViT 与扩散模型兴起，胶囊网络在主流视觉任务上较少作为 SOTA，但其在等变性、几何深度学习上的思想被广泛吸收
• 2024-2025 年：胶囊网络在医学影像小样本、对抗鲁棒性等垂直场景持续有研究价值，并与等变神经网络（Equivariant NN）结合形成新方向

五、分类

• 按胶囊形式：向量胶囊（原始版本）vs 矩阵胶囊（4×4 姿态矩阵，EM 路由）vs 概率胶囊
• 按路由算法：Dynamic Routing by Agreement vs EM Routing vs Attention Routing
• 按任务类型：图像分类（MNIST/CIFAR）vs 姿态估计 vs 分割 vs 3D 点云 vs 医学影像
• 按增强路径：与图神经网络结合（Graph Capsule）vs 与 GAN 结合（CapGAN）vs 与 Transformer 结合
• 按等变性：标准胶囊 vs 等变胶囊（Equivariant Capsule）vs 群等变胶囊

六、应用场景

小样本图像识别：在 MNIST、smallNORB 等小样本基准上胶囊网络以较少参数即可逼近 CNN 性能

• 对抗鲁棒性：胶囊网络的姿态编码与动态路由对对抗扰动具备天然鲁棒性，是防御对抗攻击的研究方向之一
• 跨视角物体识别：通过姿态矩阵建模视角变化，在汽车、家电等旋转/缩放物体的识别上效果突出
• 医学影像分析：在标注稀缺的 CT、MRI 数据上胶囊网络以少样本学习见长
• 3D 点云与几何深度学习：胶囊的姿态表征天然适合 3D 点云，是 PointNet 之外的另一条几何深度学习路径

七、优缺点

• 优点：
• 空间层级建模：向量胶囊天然编码姿态、比例、形变等空间信息，弥补 CNN 池化导致的空间信息丢失
• 视角鲁棒性强：通过等变性约束对视角、尺度变化具有更好的泛化能力
• 可解释性好：向量方向直观对应实体的几何属性，模型决策更易可视化与解读
• 小样本友好：路由机制带来高效的特征聚合，在少样本场景下表现优于同规模 CNN
• 缺点：
• 训练复杂：动态路由迭代开销大，训练效率明显低于 CNN/Transformer
• 规模难放大：在 ImageNet 等大规模图像分类任务上效果不及 ResNet、ViT，落地困难
• 工程生态弱：相对主流 CNN/Transformer，胶囊网络的开源实现与预训练模型较少
• 理论争议：胶囊「姿态」的具体含义与解释在不同任务上仍有争议

八、常见误区

胶囊网络已取代 CNN（错：在大规模图像任务上 CNN/Transformer 仍是主流，胶囊网络主要在几何与小样本场景有差异化优势）

• 胶囊网络 = Hinton 的所有主张（错：胶囊网络是其团队正式发表的具体架构，与 Hinton 关于「AI 范式革命」的演讲观点应区分开）
• 胶囊网络训练和 CNN 一样简单（错：动态路由、margin loss、reconstruction loss 等设计带来更高调参与工程复杂度）
• 胶囊网络需要专门硬件才能跑（错：标准 GPU 即可训练，只是迭代路由开销大、训练较慢）

九、关联概念

• 父概念：深度学习 Deep Learning、计算机视觉 Computer Vision
• 子概念：Transformer架构 · Transformer、Transformer架构、计算机视觉、深度学习 Deep Learning
• 兄弟概念：计算机视觉 Computer Vision、Transformer架构 · Transformer、深度学习 Deep Learning、图神经网络 GNN
• 对比概念：Capsule Network vs CNN、Capsule Network vs Vision Transformer、Capsule Network vs PointNet
• 应用相关：计算机视觉 Computer Vision、深度学习 Deep Learning、神经形态视觉、AI 制药