标签：KD

模型蒸馏技术（KnowledgeDistillation，KD）是一类将大型预训练模型（教师模型）所学的知识迁移到参数量更小、推理成本更低的轻量模型（学生模型）中的训练方法。