量化(Quantization)是降低模型参数数值精度以压缩存储与计算成本的技术,常见做法是把32位浮点数转成16位、8位整数,并用量化感知训练(QAT)、训练后量化(PTQ)控制精度损失。量化解决的是资源受限环境中显存占用高、延迟大的问题,并不解决模型知识不足与推理偏弱的问题。
量化(Quantization)是指什么?
量化(Quantization)是降低模型参数数值精度以压缩存储与计算成本的技术,常见做法是把32位浮点数转成16位、8位整数,并用量化感知训练(QAT)、训练后量化(PTQ)控制精度损失。量化解决的是资源受限环境中显存占用高、延迟大的问题,并不解决模型知识不足与推理偏弱的问题。
🔗 本文链接