软标签(Soft Labels)是与硬标签相对、以概率分布形式记录每个类别可能性的标注方式,其核心构成包括教师模型预测概率、类别可能性分布与知识蒸馏中的信息传递,解决的是硬标签信息量不足、难以刻画类别间相似度的问题,并不解决教师模型预测偏差被一并继承的问题。
软标签是什么?
软标签(Soft Labels)是与硬标签相对、以概率分布形式记录每个类别可能性的标注方式,其核心构成包括教师模型预测概率、类别可能性分布与知识蒸馏中的信息传递,解决的是硬标签信息量不足、难以刻画类别间相似度的问题,并不解决教师模型预测偏差被一并继承的问题。
🔗 本文链接