跳到主要内容
登录
注册
数智化转型网
首页
国内AI资讯
海外AI资讯
行业百科
案例库
行业研究
AI指数研究
专题栏目
模型算力洞察
IT/AI服务商信息库
行业资讯
🔍
☰
标签:Token分词
什么是Token分词(Tokenization)?
📅 2025年10月22日
Token分词(Tokenization)是自然语言处理(NLP)的基础步骤,指将连续的文本序列切分成一系列有 […]