学习率(Learning Rate)是控制每次参数更新步长幅度的超参数,其核心构成包括步长调节、衰减策略与预热调度,解决的是训练步子过大容易发散、过小又收敛过慢的问题,并不解决学习率设置不当带来的梯度震荡与最终精度受限问题。
学习率是什么?
学习率(Learning Rate)是控制每次参数更新步长幅度的超参数,其核心构成包括步长调节、衰减策略与预热调度,解决的是训练步子过大容易发散、过小又收敛过慢的问题,并不解决学习率设置不当带来的梯度震荡与最终精度受限问题。
🔗 本文链接