令牌化是将文本分解为较小的、可处理的零件（令牌）的过程。这些令牌随后被转换为一系列的数字 ID，（比如，860）这使得神经网络能够以更高效的方式处理和生成语言。比如，字节对编码（BPE）是一种流行的令牌化技术，它通过合并字符对来逐步构建词汇表。

上图展示了”I” “View” “ing” “Single”令牌化的过程，一旦数据令牌化为tokens，它就会被馈入神经网络。其具体的过程如下：

1. 大语言模型（neural network）在上下文窗口中采用了一组令牌（tokens）（例如，对于某些模型上下文为8,000，对于GPT-4，最高128K）。
2. 它根据所学的模式预测了下一步的令牌。
3. 模型中的权重调整了反向传播以减少错误。
4. 随着时间的流逝，大语言模型学会了做出更好的预测。

事实上，更长的上下文窗口意味着模型可以从输入中“记住”更多，但也增加了计算成本。