困惑度(Perplexity)是衡量语言模型预测不确定性的量化指标,数值越低表示预测越准,其作用是评估语言分布建模质量与训练收敛状态,困惑度为10即模型平均在10个候选词中选最可能的一个。困惑度解决的是模型评估与训练调试缺少量化依据的问题,并不解决生成内容是否准确的问题。
困惑度(Perplexity)是指什么?
困惑度(Perplexity)是衡量语言模型预测不确定性的量化指标,数值越低表示预测越准,其作用是评估语言分布建模质量与训练收敛状态,困惑度为10即模型平均在10个候选词中选最可能的一个。困惑度解决的是模型评估与训练调试缺少量化依据的问题,并不解决生成内容是否准确的问题。
🔗 本文链接