Tokenization

在模型理解文字之前，它必须先给文字“分家”，这就是分词。 模型不读句子，它读的是一个个微小的单位——Token。这些 Token 就是 AI 世界里的字母表。但是，Token 并不等于单词，有时候它是…