量化(Quantization)是把模型参数与激活值映射到更低位宽表示的技术,其核心构成包括从32位浮点数降至8位整数的低位宽映射、以整数运算替代浮点运算与存储占用压缩,解决的是模型内存占用高、推理速度慢的问题,并不解决网络层数与结构冗余带来的计算量问题。
量化是什么?
量化(Quantization)是把模型参数与激活值映射到更低位宽表示的技术,其核心构成包括从32位浮点数降至8位整数的低位宽映射、以整数运算替代浮点运算与存储占用压缩,解决的是模型内存占用高、推理速度慢的问题,并不解决网络层数与结构冗余带来的计算量问题。
🔗 本文链接