大语言模型 (LLM)里的温度 (Temperature)是指什么？
温度（Temperature）是调节大语言模型采样随机性、决定选词保守或发散的解码参数，其典型表现是低温度稳定倾向高概率词、适合写代码与总结，高温度多采信低概率词、适合写小说与头脑风暴，解决的是单一贪心解码输出单调重复的问题，并不解决模型知…
标签：大语言模型 (LLM)
大语言模型 (LLM)里的上下文窗口 (Context Window)指的是什么？
上下文窗口（Context Window）是模型一次推理交互中能同时读入并保留的信息量上限，其表现形式包括早期模型仅能容纳数千个词、现代模型可吞下整本书、窗口越大响应越慢成本越高，解决的是长对话超出容量后模型断片失忆的问题，并不解决中间信息…