缩放定律(Scaling Law)是描述模型性能随参数规模、数据集大小与计算资源投入增加而如何变化的经验规律,其核心构成包括参数与数据规模同比例扩展、幂律式性能改善与算力最优配比,解决的是投入更多资源究竟能换来多少收益的判断问题,并不解决训练数据枯竭与边际收益递减的问题。
缩放定律是什么?
缩放定律(Scaling Law)是描述模型性能随参数规模、数据集大小与计算资源投入增加而如何变化的经验规律,其核心构成包括参数与数据规模同比例扩展、幂律式性能改善与算力最优配比,解决的是投入更多资源究竟能换来多少收益的判断问题,并不解决训练数据枯竭与边际收益递减的问题。
🔗 本文链接