Token是什么?

词元(Token)是大语言模型处理文本的最小单位,由分词器把文字切分为子词、符号或单字,核心是模型的「计量与计费单位」,能力包括上下文按词元计长、推理按词元产出与 API 按词元计价。它解决的是计算机无法直接理解连续文字的表示问题;对使用者而言,词元直接影响成本、速度与可用上下文长度,是必须理解的基础概念。

词元(Token)是大语言模型处理文本的最小单位,由分词器把文字切分为子词、符号或单字,核心是模型的「计量与计费单位」,能力包括上下文按词元计长、推理按词元产出与 API 按词元计价。它解决的是计算机无法直接理解连续文字的表示问题;对使用者而言,词元直接影响成本、速度与可用上下文长度,是必须理解的基础概念。

理解词元的核心是掌握计量规则,它可以帮助企业实现以下目标:

让成本可预算。中英文的词元换算比例不同,掌握换算关系后账单估算与配额管理不再靠猜测,财务口径也能提前锁定。分词器对中文通常按字或词切分,对英文按子词切分,同一段内容的双语词元数可相差数倍,跨语言成本测算必须分别进行。主流平台均提供词元计数接口,应用侧在发送前即可预估消耗并做拦截或压缩,避免超限报错。

让上下文不溢出。按词元长度规划提示与文档组装,避免触顶后被静默截断,关键信息丢失的风险被消除。上下文窗口、输入与输出的计费单价均按词元口径标注,采购与选型时按统一口径折算才能真实比价。

让速度可优化。输出词元数是延迟的主要来源,控制回答长度与结构即可显著提速,交互体验更流畅。

让选型更精准。不同模型的分词器不同,同一段文本的词元数存在差异,实际成本对比必须按词元口径计算才有结论。

总结来看,词元是大模型世界的「度量衡」,读懂它才能把 AI 用得又好又省。

翻译

A token is the smallest unit of text processed by large language models, produced by tokenizers that split text into subwords, symbols or characters — the metering and billing unit of model computing.

The core of understanding tokens is mastering the metering rules, and it helps enterprises achieve the following goals:

Budgetable costs: Chinese-English token ratios differ, so mastering conversion makes billing estimates and quota management predictable.

No context overflow: assembling prompts by token length avoids silent truncation and the loss of critical information.

Optimizable speed: output token count drives latency, so controlling answer length visibly improves responsiveness.

Sharper model selection: tokenizers differ across models, so real cost comparisons must be computed on token counts.

In summary, tokens are the measurement unit of the large-model world; reading them well means using AI both better and cheaper.

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

模型量化是什么?

模型量化是把模型的权重与激活从高精度数值压缩到低精度(如 8-bit、4-bit)表示的优化技术,核心是以尽量小的能力损失换取更低的显存与算力开销,能力包括显存…
📅 11-19 · 👁 2026年11月19日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

因果AI是什么?

因果 AI 是以因果推断方法研究「变量之间是否以及如何相互影响」的人工智能分支,核心是从相关关系中识别因果结构,能力包括因果图建模、干预效应估计与反事实分析。它…
📅 11-19 · 👁 2026年11月19日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI网关是什么?

AI 网关是部署在业务应用与大模型 API 之间的统一接入层,核心是把鉴权、路由、限流、缓存与可观测集中管理,能力包括多模型路由、请求重试与用量统计。它解决的是…
📅 11-19 · 👁 2026年11月19日
元宇宙 Metaverse 行业百科

元宇宙 Metaverse

元宇宙(Metaverse)是基于扩展现实(XR,ExtendedReality)、区块链、AI、数字孪生等技术构建的、与现实平行且持久的3D虚拟数字空间,用户…
📅 11-18 · 👁 2026年11月18日
数字身份 DID 行业百科

数字身份 DID

DID(DecentralizedIdentifier,去中心化身份标识符)是由W3C标准化、基于区块链或分布式账本技术的、自主可控的数字身份体系,让用户无需依…
📅 11-18 · 👁 2026年11月18日
灵魂绑定代币 SBT 行业百科

灵魂绑定代币 SBT

灵魂绑定代币(SoulboundToken,SBT)是由GlenWeyl、PujaOhlhaver、VitalikButerin等于2022年5月《Decent…
📅 11-18 · 👁 2026年11月18日