推测解码指南#
本指南展示了如何在 vLLM Ascend 中使用推测解码。推测解码是一种技术，用于改善内存受限的 LLM 推理中的令牌间延迟。
通过匹配提示中的 n-gram 进行推测#
以下代码配置 vLLM Ascend 使用推测解码，其中候选令牌通过匹配提示中的 n-gram 生成。
离线推理
from vllm import LLM, SamplingParams prompts = [ "The future of AI is", ] sampling_params = SamplingParams(temperature=0.8, top_p=0.95) llm = LLM( model="meta-llama/Meta-Llama-3.1-8B-Instruct", tensor_parallel_size=1, speculative_config={ "method": "ngram", "num_speculative_tokens": 5, "prompt_lookup_max": 4, }, ) outputs = llm.generate(prompts, sampling_params) for output in outputs: prompt = output.prompt generated_text = output.outputs[0].text print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
使用基于 EAGLE 的草稿模型进行推测#
以下代码配置 vLLM Ascend 使用推测解码，其中候选令牌由基于 EAGLE（用于提升语言模型效率的外推算法） 的草稿模型生成。
在 vLLM Ascend 的 v0.12.0rc1 版本中，异步调度器更加稳定并已准备就绪。我们已使其适配以支持 EAGLE，您可以通过如下设置 async_scheduling=True 来使用它。如果您遇到任何问题，请随时在 GitHub 上提交 issue。作为一种变通方案，您可以在初始化模型时不设置 async_scheduling=True 来禁用此功能。
离线推理
from vllm import LLM, SamplingParams prompts = [ "The future of AI is", ] sampling_params = SamplingParams(temperature=0.8, top_p=0.95) llm = LLM( model="meta-llama/Meta-Llama-3.1-8B-Instruct", tensor_parallel_size=4, distributed_executor_backend="mp", enforce_eager=True, async_scheduling=True, speculative_config={ "method": "eagle", "model": "yuhuili/EAGLE-LLaMA3.1-Instruct-8B", "draft_tensor_parallel_size": 1, "num_speculative_tokens": 2, }, ) outputs = llm.generate(prompts, sampling_params) for output in outputs: prompt = output.prompt generated_text = output.outputs[0].text print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
使用基于 EAGLE 的草稿模型时，需要考虑以下几点重要事项：
EAGLE 模型的 HF 仓库 中可用的 EAGLE 草稿模型应由 vLLM 直接加载和使用。此功能在 PR #4893 中添加。如果您使用的 vLLM 版本是在此拉取请求合并之前发布的，请更新到较新的版本。
基于 EAGLE 的草稿模型需要在没有张量并行的情况下运行（即在
speculative_config中draft_tensor_parallel_size设置为 1），尽管主模型可以使用张量并行运行（参见上面的示例）。当使用基于 EAGLE-3 的草稿模型时，选项 "method" 必须设置为 "eagle3"。也就是说，在
speculative_config中指定"method": "eagle3"。启用 EAGLE 后，主模型需要在一个解码过程中验证由主模型和草稿模型生成的
(1 + K)个令牌。并且 fullgraph 模式将在验证阶段固定令牌数量，因此cudagraph_capture_sizes必须是一个捕获大小列表，其中每个大小计算为n * (K + 1)，n是您希望支持的每个批次大小。例如，要支持批次大小从 1 到 4 且num_speculative_tokens = 4，cudagraph_capture_sizes应设置为[5, 10, 15, 20]。
使用 MTP 推测器进行推测#
以下代码配置 vLLM Ascend 使用推测解码，其中候选令牌由 MTP（多令牌预测）生成，通过并行预测多个令牌来提升推理性能。有关 MTP 的更多信息，请参阅 Multi_Token_Prediction
在线推理
vllm serve /deepseek-ai/DeepSeek-V3.2-Exp-W8A8 \ --port 20004 \ --data-parallel-size 1 \ --tensor-parallel-size 16 \ --enable-expert-parallel \ --seed 1024 \ --served-model-name dsv3 \ --max-model-len 36768 \ --max-num-batched-tokens 5000 \ --max-num-seqs 10 \ --quantization ascend \ --trust-remote-code \ --gpu-memory-utilization 0.9 \ --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \ --speculative-config '{"num_speculative_tokens": 2, "method":"deepseek_mtp", "disable_padded_drafter_batch": "False"}'
使用后缀解码进行推测#
以下代码配置 vLLM 使用推测解码，其中候选令牌使用后缀解码生成 (SuffixDecoding: Extreme Speculative Decoding for Emerging AI Applications)。
与 n-gram 类似，后缀解码可以通过使用最后 n 个生成的令牌进行模式匹配来生成草稿令牌。与 n-gram 不同，后缀解码 (1) 可以针对提示和先前生成的内容进行模式匹配，(2) 使用频率计数来提出最可能的延续序列，(3) 在每次迭代中为每个请求推测自适应数量的令牌，以获得更好的接受率。
后缀解码可以在具有高重复性的任务上实现更好的性能，例如代码编辑、智能体循环（例如自我反思、自我一致性）和 RL 推演。
[!注意] 后缀解码需要 Arctic Inference。您可以使用
pip install arctic-inference安装它。
离线推理
from vllm import LLM, SamplingParams prompts = [ "The future of AI is", ] sampling_params = SamplingParams(temperature=0.8, top_p=0.95) llm = LLM( model="meta-llama/Meta-Llama-3.1-8B-Instruct", tensor_parallel_size=1, enforce_eager=True, speculative_config={ "method": "suffix", "num_speculative_tokens": 15, }, ) outputs = llm.generate(prompts, sampling_params) for output in outputs: prompt = output.prompt generated_text = output.outputs[0].text print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")