在模型理解文字之前，它必须先给文字“分家”，这就是分词。 模型不读句子，它读的是一个个微小的单位——Token。这些 Token 就是 AI 世界里的字母表。但是，Token 并不等于单词，有时候它是一个完整的词，有时候只是词的一部分。比如 “playing” 可能会被拆成 “play” 和 “ing”。你可能会问：为什么要搞这么麻烦？数智化转型网www.szhzxw.cn
因为语言这东西太乱了，新词层出不穷，还有拼写错误和方言。 如果模型要记住每个单词，它的词汇表会大到爆炸。分词通过使用固定的“乐高积木”解决了这个问题。哪怕遇到从未见过的词，模型也能通过拆解熟悉的零件来猜出意思。 所以，AI 并不是像人类那样读书，它是在读零件，然后拼凑意义。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网（Professionalism Achieves Leadership 专业造就领导者）默然。
