标签：知识蒸馏

知识蒸馏是把大模型或集成模型的输出行为迁移到更小模型上的训练方法，核心是用软标签传递教师模型的暗知识，能力包括 logits 蒸馏、中间层特征对齐与蒸馏损失设计。它解决的是大模型推理成本高、难以在边缘或高并发场景部署的问题，并不解决小模型自…

知识蒸馏（Knowledge Distillation）是把大模型知识迁移到小模型的技术路径，构成上包括教师模型与学生模型，以及模仿教师输出的训练方式，目标是让小模型保留大模型大部分性能，解决的是大模型推理成本高、响应慢的问题，并不解决教师…