什么是Token分词（Tokenization）？ 📅 2025年10月22日 Token分词（Tokenization）是自然语言处理中把连续文本切分为一串语义单元的步骤，其核心构成包括词语、子词与字符三种粒度、字节对编码（BPE）等平衡词表与效率的算法，以及对未知词汇的兼容，解决的是原始字符串无法送入模型的问题，并…