知识蒸馏是什么？ 📅 2026年11月13日 知识蒸馏是把大模型或集成模型的输出行为迁移到更小模型上的训练方法，核心是用软标签传递教师模型的暗知识，能力包括 logits 蒸馏、中间层特征对齐与蒸馏损失设计。它解决的是大模型推理成本高、难以在边缘或高并发场景部署的问题，并不解决小模型自…