一、什么是Token经济性优化
Token 经济性优化（Token Economy Optimization，TEO）是一系列通过压缩提示、控制输出长度、裁剪上下文与优化分词策略等手段，降低大模型应用在单次交互中所消耗 Token 数量，从而控制推理成本与提升响应效率的方法集合。其核心思想是把 Token 视为计费与算力的基本单位，从输入侧、输出侧和系统侧三个维度同时削减非必要的 Token 消耗。该优化主要解决大模型 API 按 Token 计费模式下，长提示、长输出、多轮对话成本迅速膨胀的痛点，使相同业务量下的算力预算能够支撑更大规模的服务。
二、原理
1. 提示压缩：通过摘要、改写或删除冗余信息缩短输入提示，保留语义核心 → 2. 上下文裁剪：滑动窗口或相关性评分机制仅保留与当前任务强相关的历史消息与文档片段 → 3. 输出长度控制：通过最大 Token 限制、结构化输出约束或提前终止策略减少冗余生成 → 4. 分词策略优化：选用更紧凑的分词器或针对领域术语做特殊分词，提高单 Token 信息密度 → 5. 批量与复用：将多条独立请求合并为单次调用，或复用公共前缀以摊薄输入成本 → 6. 成本监控仪表盘：可视化每次调用的 Token 消耗、单价与趋势，辅助定位优化空间
三、信息卡片
| 中文名 | Token 经济性优化 |
| 英文名 | Token Economy Optimization |
| 缩写 | TEO |
| 别名 | Token 优化、Token 成本优化、大模型成本优化 |
| 提出者 | LLM 应用工程化社区（LangChain、LlamaIndex、Anthropic、OpenAI 等推动） |
| 提出时间 | 2023 年起伴随大模型 API 按 Token 计费规模化成为方法论 |
| 所属类别 | AI 技术 > 工程层 > 推理优化 > 成本控制 |
| 核心技术 | 提示压缩、上下文裁剪、输出长度控制、Prompt 缓存、KV 缓存复用 |
| 主要应用 | 大模型 API 成本控制、企业级 LLM 部署、AI 产品定价、长上下文对话 |
四、历史时间线
- 2017 年 Transformer 时代起：Token 被广泛用作大模型计费与序列长度的基础单位
- 2018-2020 年：BPE、WordPiece 等子词分词方案成熟，Token 数量成为衡量模型输入输出的通用标准
- 2020 年后：大模型 API 普遍采用按 Token 计费，成本敏感场景开始系统化研究提示压缩与上下文裁剪
- 2022-2023 年：伴随对话与 Agent 应用爆发，Token 经济性优化从工程经验沉淀为方法论
- 2023-2024 年：压缩模型（LLMLingua）、KV 缓存复用、动态上下文窗口等技术被整合进主流大模型框架
- 2024-2025 年：与 AI 缓存语义命中、推测解码等组合，形成完整的 AI 产品成本控制体系
五、分类
按优化对象：输入侧优化（提示压缩、上下文裁剪）vs 输出侧优化（长度限制、结构化输出）vs 系统侧优化（缓存、批量、复用）
- 按技术手段：压缩型（LLMLingua 等）vs 裁剪型（滑动窗口、相关性筛选）vs 缓存型（Prompt Cache、KV Cache）vs 分词型（紧凑分词器）
- 按运行时机：请求前优化（压缩、预聚合）vs 请求中优化（提前终止、动态截断）vs 请求后优化（结果复用）
- 按优化目标：成本导向 vs 延迟导向 vs 吞吐导向 vs 综合指标
- 按应用场景：对话应用优化 vs RAG 检索增强生成 优化 vs Agent 工具调用 优化 vs 代码生成 优化
六、应用场景
大模型 API 成本控制：在 ChatGPT、Claude、通义千问等按 Token 计费的 API 调用中系统性降低成本
- 企业级 LLM 部署：在金融、客服、政务等高调用量场景中压缩单次调用开销
- 长上下文对话：在多轮对话中通过上下文裁剪与摘要抑制 Token 增长
- RAG 系统：在 RAG · 检索增强生成 中压缩检索结果、控制输出长度，显著降低单位问答算力
- AI 助手与 ChatBI：在 SQL 生成、文档总结等场景中控制输出结构与长度
- 边缘与端侧 AI：在资源受限设备上通过 Token 优化延长续航与提升响应速度
七、优缺点
- 优点：
- API 成本下降：通过提示压缩与输出控制可降低典型 20%-50% 左右的单次调用成本
- 响应速度提升：输入输出 Token 减少使首字延迟与端到端耗时同步下降
- 可承载请求量上升：相同算力预算可支撑的并发请求数明显增加
- 多轮对话经济化：长对话场景下的累计 Token 增长得到抑制，使长程交互在商业上可行
- 缺点：
- 可能影响效果：过度压缩会丢失关键上下文，导致回答质量下降
- 分词策略依赖：紧凑分词器对部分语言或领域术语支持不完善
- 监控复杂度高：需要持续监控每次调用的 Token 消耗与单价
- 优化组合复杂：多种优化手段叠加需要权衡，工程实现门槛较高
八、常见误区
Token 经济性优化 = 模型压缩（错：模型压缩改变单 Token 成本，Token 经济性优化改变的是单次请求消耗的 Token 数）
- Token 经济性优化 = 提示工程（错：提示工程追求效果，Token 经济性优化更关注单位效果的 Token 成本）
- 压缩越多越好（错：极端压缩会破坏语义，需在效果与成本间寻找最优平衡）
- 只要设最大输出 Token 即可（错：只控制输出远不够，输入侧的压缩与缓存才是降本大头）
九、关联概念
父概念：大语言模型 Large Language Model、Prompt工程、AI Workflow
- 子概念：Prompt缓存、AI 缓存语义命中、LLM 推理加速框架
- 兄弟概念：AI 缓存语义命中、LLM 推理加速框架、Prompt工程、模型量化、LLM 蒸馏
- 对比概念：模型量化、LLM 蒸馏、AI 缓存语义命中
- 应用相关：RAG · 检索增强生成、AI智能体 AI Agent、Prompt工程、大语言模型 Large Language Model、边缘计算（Edge Computing）
