
什么是大语言模型 (LLM)?LLM 就是在一个天文数字级的文本库上练出来的 Transformer。它的训练目标简单到让人想笑:预测下一个 Token。就这样,但当这个简单的动作重复了万亿次后,奇迹发生了。它掌握了语法、逻辑甚至推理。这虽然只是概率上的模式识别,但由于规模大到了极致,它看起来就像拥有了灵魂。所谓的“大”,指的就是参数量。现在的模型动辄拥有数千亿个参数。 所以,当你和 ChatGPT 聊天时,你其实是在和一个通过“猜下一个词”而自通了人类文明的怪物在对话。

什么是大语言模型 (LLM)?LLM 就是在一个天文数字级的文本库上练出来的 Transformer。它的训练目标简单到让人想笑:预测下一个 Token。就这样,但当这个简单的动作重复了万亿次后,奇迹发生了。它掌握了语法、逻辑甚至推理。这虽然只是概率上的模式识别,但由于规模大到了极致,它看起来就像拥有了灵魂。所谓的“大”,指的就是参数量。现在的模型动辄拥有数千亿个参数。 所以,当你和 ChatGPT 聊天时,你其实是在和一个通过“猜下一个词”而自通了人类文明的怪物在对话。