Token分词（Tokenization）是自然语言处理（NLP）的基础步骤，指将连续的文本序列切分成一系列有意义的单元，即“Token”。这些Token可以是词语、子词（subword，如词根、词缀）或单个字符，具体粒度取决于应用需求和所用算法。现代分词算法如字节对编码（BPE）能够在词汇表大小和表示效率之间找到最优平衡，有效处理未知词汇、多语言文本和特殊符号。分词策略的选择直接影响模型的训练效率和语言理解能力。
术语词典
术语词典
术语词典
术语词典
行业百科
行业百科