什么是令牌化？

令牌化（Tokenization）是把文本切分成最小单元并转为数字编码供神经网络读取，核心环节包括切分文本形成令牌、转为数字ID（如860），以及字节对编码BPE通过合并字符对构建词汇表，解决的是神经网络无法直接处理文本的问题，并不解决上下文窗口越界的成本问题。

上图展示了”I” “View” “ing” “Single”令牌化的过程，一旦数据令牌化为tokens，它就会被馈入神经网络。其具体的过程如下：

1. 大语言模型（neural network）在上下文窗口中采用了一组令牌（tokens）（例如，对于某些模型上下文为8,000，对于GPT-4，最高128K）。
2. 它根据所学的模式预测了下一步的令牌。
3. 模型中的权重调整了反向传播以减少错误。
4. 随着时间的流逝，大语言模型学会了做出更好的预测。

事实上，更长的上下文窗口意味着模型可以从输入中“记住”更多，但也增加了计算成本。