蒸馏技术的原理是什么？ 📅 2025年2月14日 模型蒸馏（Knowledge Distillation）的原理是知识的传递与压缩：教师模型依靠复杂结构与海量参数学到复杂模式与特征，学生模型通过模仿教师输出习得同样模式，以更小规模获得接近性能，解决的是大模型推理成本与部署门槛过高的问题，并…