大语言模型量化

人工智能1000问|什么是大语言模型量化？

2026年4月12日 22赞

大语言模型量化是什么？量化是一种通过降低模型参数的数值精度来压缩模型大小的技术。在深度学习中，模型参数通常以32位浮点数（FP32）存储，通过量化可以将其转换为更低精度的表示形式（如FP16、INT8…