深度学习(Deep Learning,DL)是依靠多层神经网络逐层抽取特征、从原始数据端到端学习映射关系的机器学习方法,主流架构包括 Transformer、扩散模型、混合专家与胶囊网络等。它解决的是人工设计特征成本高、高维数据难处理的问题,并不解决可解释性弱与算力开销大的问题。
Transformer:基于自注意力机制驱动的长文本处理通用架构(如GPT系列、BERT)。
扩散模型(Diffusion Model):通过逐步去噪生成高质量数据(如Stable Diffusion)。
MoE(Mixture of Experts):组合多个子模型提升性能(如Switch Transformer)。
SNN(脉冲神经网络):模拟生物神经脉冲时序的模型。
胶囊网络(Capsule Network):通过胶囊单元编码空间层次关系。