什么是模型蒸馏（Knowledge Distillation）？ 📅 2025年2月14日 知识蒸馏（Knowledge Distillation）是把大型教师模型的知识迁移到小型学生模型的技术，核心构成包括教师模型输出作为软标签、学生模型结构对齐与蒸馏损失函数，解决的是保持性能同时降低计算复杂度与存储需求的问题，并不解决学生模型…