模型量化是什么?

模型量化是把模型的权重与激活从高精度数值压缩到低精度(如 8-bit、4-bit)表示的优化技术,核心是以尽量小的能力损失换取更低的显存与算力开销,能力包括显存占用减半以上、推理加速与端侧部署。它解决的是大模型本地化部署「装不下、跑不动」的…