令牌化是将文本分解为较小的、可处理的零件（令牌）的过程。这些令牌随后被转换为一系列的数字 ID，（比如，860）这使得神经网络能够以更高效的方式处理和生成语言。比如，字节对编码（BPE）是一种流行的令牌化技术，它通过合并字符对来逐步构建词汇表。
上图展示了”I” “View” “ing” “Single”令牌化的过程，一旦数据令牌化为tokens，它就会被馈入神经网络。其具体的过程如下：
- 大语言模型（neural network）在上下文窗口中采用了一组令牌（tokens）（例如，对于某些模型上下文为8,000，对于GPT-4，最高128K）。
- 它根据所学的模式预测了下一步的令牌。
- 模型中的权重调整了反向传播以减少错误。
- 随着时间的流逝，大语言模型学会了做出更好的预测。
事实上，更长的上下文窗口意味着模型可以从输入中“记住”更多，但也增加了计算成本。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网（Professionalism Achieves Leadership 专业造就领导者）默然。
