什么是LLM蒸馏技术?

LLM蒸馏(Large Language Model Distillation)是把大语言模型的知识转移到较小模型的技术,核心包括保持性能同时缩小体积、减少算力需求、让小模型推理更高效,解决的是大模型开销高、难以在受限环境部署的问题,并不解…