温度(Temperature)是调节大语言模型采样随机性、决定选词保守或发散的解码参数,其典型表现是低温度稳定倾向高概率词、适合写代码与总结,高温度多采信低概率词、适合写小说与头脑风暴,解决的是单一贪心解码输出单调重复的问题,并不解决模型知识错误与事实核对缺位的问题。
- 低温度: 稳如老狗。它只选最稳的词,适合写代码、写总结。
- 高温度: 脑洞大开。它会选一些冷门的路径,适合写小说、头脑风暴。
温度(Temperature)是调节大语言模型采样随机性、决定选词保守或发散的解码参数,其典型表现是低温度稳定倾向高概率词、适合写代码与总结,高温度多采信低概率词、适合写小说与头脑风暴,解决的是单一贪心解码输出单调重复的问题,并不解决模型知识错误与事实核对缺位的问题。