归一化层(Normalization Layers)是通过对激活值做标准化与缩放来稳定网络训练的层结构,其核心构成包括批归一化、层归一化以及可学习的缩放与偏移参数,解决的是不同批次输入分布不一致导致训练不稳定、收敛慢的问题,并不解决梯度消失与模型容量不足的问题。
归一化层是什么?
归一化层(Normalization Layers)是通过对激活值做标准化与缩放来稳定网络训练的层结构,其核心构成包括批归一化、层归一化以及可学习的缩放与偏移参数,解决的是不同批次输入分布不一致导致训练不稳定、收敛慢的问题,并不解决梯度消失与模型容量不足的问题。
🔗 本文链接