上下文并行指南

上下文并行指南#

概述#

本指南介绍如何使用上下文并行（Context Parallel），这是一种长序列推理优化技术。上下文并行包括 PCP（预填充上下文并行）和 DCP（解码上下文并行），能够降低长序列 LLM 推理中的 NPU 内存占用并提升推理速度。

上下文并行的优势#

上下文并行主要解决长上下文请求的服务问题。由于预填充（Prefill）和解码（Decode）具有显著不同的特性及服务水平目标（SLO），我们需要分别为它们实现上下文并行。主要考量点包括：

  • 对于长上下文预填充，我们可以使用上下文并行，通过在查询令牌间分摊预填充的计算时间来降低首令牌延迟（TTFT）。

  • 对于长上下文解码，我们可以使用上下文并行来减少 KV 缓存的重复，从而为 KV 缓存腾出更多空间以增加批次大小（进而提升吞吐量）。

欲了解更多关于上下文并行的理论和实现细节，请参阅 上下文并行开发者指南。

支持场景#

目前上下文并行可与大多数其他功能结合使用，支持的功能如下：

Eager 模式

图模式

前缀缓存

分块预填充

投机解码
(MTP)

PD 分离

MLAPO

PCP

✅

✅

✅

✅

✅

✅

✅

DCP

✅

✅

✅

✅

✅

✅

✅

如何使用上下文并行#

您可以通过 prefill_context_parallel_size 和 decode_context_parallel_size 启用 PCP 和 DCP，请参考以下示例：

  • 离线示例：

    from vllm import LLM, SamplingParams

prompts = [
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(
    model="deepseek-ai/DeepSeek-V2-Lite",
    tensor_parallel_size=2,
    decode_context_parallel_size=2,
    prefill_context_parallel_size=2,
)
outputs = llm.generate(prompts, sampling_params)

  • 在线示例：

    vllm serve deepseek-ai/DeepSeek-V2-Lite \
    --tensor-parallel-size 2 \
    --decode-context-parallel-size 2 \
    --prefill-context-parallel-size 2 \

总的世界大小为 tensor_parallel_size * prefill_context_parallel_size，因此上述每个示例都需要 4 个 NPU。

约束条件#

  • 使用 DCP 时，必须满足以下约束条件：

    • 对于基于 MLA 的模型，例如 DeepSeek-R1：

      • tensor_parallel_size >= decode_context_parallel_size

      • tensor_parallel_size % decode_context_parallel_size == 0

    • 对于基于 GQA 的模型，例如 Qwen3-235B：

      • (tensor_parallel_size // num_key_value_heads) >= decode_context_parallel_size

      • (tensor_parallel_size // num_key_value_heads) % decode_context_parallel_size == 0

  • 在需要传输 KV 缓存的场景（例如 KV 池化、PD 分离）中使用上下文并行时，为简化 KV 缓存传输，必须将 cp_kv_cache_interleave_size 设置为与 KV 缓存 block_size（默认值：128）相同的值，这指定了上下文并行以块交错方式切分 KV 缓存。例如：

    vllm serve deepseek-ai/DeepSeek-V2-Lite \
    --tensor-parallel-size 2 \
    --decode-context-parallel-size 2 \
    --prefill-context-parallel-size 2 \
    --cp-kv-cache-interleave-size 128 \
    --kv-transfer-config {...} \

实验结果#

为评估上下文并行在长序列 LLM 推理场景中的有效性，我们使用 DeepSeek-R1-W8A8 和 Qwen3-235B 模型，在 64 卡 Ascend Atlas A3 推理产品*64G (A3) 环境下部署 PD 分离实例，配置和性能数据如下。

  • DeepSeek-R1-W8A8：

    配置

    输入长度
    32k

    输入长度
    64k

    输入长度
    128k

    P 节点: (DP2 TP8 EP16) *2
    D 节点: (DP32 EP32)*1

    TTFT: 9.3s
    TPOT: 72ms

    TTFT: 22.8s
    TPOT: 74ms

    TTFT: 73.2s
    TPOT: 82ms

    P 节点: (PCP2 TP8 DCP8 EP16) *2
    D 节点: (DP32 EP32)*1

    TTFT: 7.9s
    TPOT: 74ms

    TTFT: 15.9s
    TPOT: 78ms

    TTFT: 46.0s
    TPOT: 83ms

  • Qwen3-235B：

    配置

    输入长度
    32k

    输入长度
    64k

    输入长度
    120k

    P 节点: (DP2 TP8 EP16) *2
    D 节点: (DP32 EP32)*1

    TTFT: 5.1s
    TPOT: 65ms

    TTFT: 13.1s
    TPOT: 85ms

    TTFT: 33.9s
    TPOT: 120ms

    P 节点: (PCP2 TP8 DCP2 EP16) *2
    D 节点: (DP32 EP32)*1

    TTFT: 3.0s
    TPOT: 66ms

    TTFT: 8.9s
    TPOT: 86ms

    TTFT: 22.7s
    TPOT: 121ms