推测性解码

人工智能中的推测性解码（Speculative Decoding）是什么？推测性解码是一种用于优化大语言模型推理性能的技术。它的核心思想是：在当前大模型生成当前 token 的同时，使用小的草稿模型对…