上下文并行(CP)#

摘要:PCP 通过序列拆分加速预填充,DCP 消除 KV 缓存冗余。

上下文并行

开发过程中的主要讨论请参考 RFC 以及该 RFC 引用或引用的相关链接。

什么是 CP?#

上下文并行(CP) 是一种沿序列维度在多个设备间并行化计算的策略。

预填充上下文并行(PCP) 扩展了设备的 world size 并使用专用通信域。其主要目标是在预填充阶段拆分序列维度,使不同设备能同时计算序列的不同块。KV 缓存沿序列维度分片存储于各设备。该方法在不同程度上影响预填充和解码阶段的计算逻辑。

解码上下文并行(DCP) 复用张量并行(TP)的通信域,无需额外设备。其主要目标是通过沿序列维度将 KV 缓存分片存储到 TP 域内原本持有冗余副本的设备上,消除 KV 缓存的重复存储。DCP 主要影响解码逻辑,以及分块预填充和缓存预填充的逻辑。

如何使用 CP?#

详细信息请参考上下文并行用户指南。

工作原理#

设备分布#

我们为 PCP 引入新的通信域,并为 DCP 复用 TP,以下是 PCP2、DCP2 和 TP4 的新设备布局。设备世界

块表#

CP 对 KV 缓存存储进行序列分片。为便于高效存储和访问,令牌以交错方式存储于各设备,交错粒度由 cp_kv_cache_interleave_size 决定,其默认值为 cp_kv_cache_interleave_size=1,即“令牌交错”。

鉴于 PCP 和 DCP 在 KV 缓存分片方面行为相似,我们统称为 CP。具体而言,cp_size = pcp_size * dcp_size,且 cp_rank = pcp_rank * dcp_size + dcp_rank。

如图所示,块表中定义了一个虚拟块,同一 CP 设备组内的块构成一个虚拟块。虚拟块大小为 virtual_block_size = block_size * cp_size。

对于任意令牌 x,参考下图,其(虚拟)块索引为 x // virtual_block_size,虚拟块内偏移为 offset_within_virtual_block = x % virtual_block_size。本地块索引为 local_block_index = offset_within_virtual_block // cp_kv_cache_interleave_size,设备编号为 target_rank = local_block_index % cp_size。本地块内偏移为 (local_block_index // cp_size) * cp_kv_cache_interleave_size + offset_within_virtual_block % cp_kv_cache_interleave_size。

块表

基于上述逻辑,调整了 slot_mapping 计算过程,并修改了各设备上的 slot_mapping 值,以确保 KV 缓存按预期沿序列维度分片并存储于不同设备。

当前实现要求 block_size % cp_kv_cache_interleave_size == 0。

解码上下文并行(DCP)#

如上所述,DCP 的主要功能是沿序列维度对 KV 缓存进行分片存储。其影响体现在解码和分块预填充阶段的逻辑中。

预填充阶段: 如图所示,在分块预填充计算中,MLA 和 GQA 后端采用了两种不同的逻辑实现。

  • 在 MLA 后端中,执行上下文 KV 缓存的 all_gather 操作以聚合完整的 KV 值,然后用于与当前块的 Q 值进行注意力计算。注意,在多请求场景下,直接收集的 KV 结果在请求间是交错的。使用 reorg_kvcache 函数重新组织 KV 缓存,确保同一请求的 KV 缓存连续存储。

  • 在 GQA 后端中,对 Q 沿头维度执行 all_gather。这是因为 DCP 与 TP 通信域重叠,DCP 组内的 Q 头不同,但它们需要与本地计算的 KV 缓存交换结果以进行在线 Softmax 更新。为确保结果更新时的正确性,通过头维度的 all_gather 在 DCP 组内同步 Q 值。在结果更新过程中,调用 cp_lse_ag_out_rs 聚合 attn_output 和 attn_lse,更新结果,并对输出执行 reduce-scatter 操作。或者,我们可以使用 all-to-all 通信交换输出和 LSE 结果,然后直接进行本地更新。此方法与为兼容 PCP 而调整的逻辑一致。

DCP-预填充

解码阶段: 解码阶段的逻辑与 GQA 的分块预填充一致:首先沿 Q 头维度执行 all-gather 操作,以确保 DCP 组内的一致性。使用本地 KV 缓存计算结果后,通过 cp_lse_ag_out_rs 函数更新结果。

DCP-Decode

GLM-5.2 SFA DCP 复制索引器#

GLM-5.2 使用带有 LightningIndexer 的稀疏闪存注意力(SFA)。对于 DCP,索引器需要完整的序列视图,以选择与非 DCP SFA 相同的稀疏 top-k 块,而更大的 SFA KV 缓存应保持分片,以保留 DCP 的内存优势。复制索引器路径提供了这种拆分布局:

  • LightningIndexer 缓存在每个 DCP 排名上复制。因此,索引选择使用完整的序列,并生成全局一致的稀疏 top-k 索引。

  • SFA KV 缓存保持 DCP 本地。在 SFA 运行之前,来自复制索引器视图的全局索引被重新映射到本地 KV 索引。

  • 在预填充或混合批次期间,只有稀疏块表引用的 KV 块在当前层写入其 KV 缓存后被压缩并 all-gather。收集的 KV 使用重新映射的块表进行 SFA,因此此路径不会 all-gather Q,也不需要 LSE 或输出后处理。

  • 仅解码批次保留 DCP SFA Q-gather 和结果合并路径。

当 prefill_context_parallel_size=1 且 decode_context_parallel_size>1 时,此模式会自动为 SFA 稀疏模型选择。它要求 decode_context_parallel_size == tensor_parallel_size;不支持 PCP 与此复制索引器路径结合使用。

对于 GLM-5.2 DSA-CP 部署,启用 FlashComm1 和 DSA CP,并保持 CP 交错大小等于 KV 缓存块大小:

export VLLM_ASCEND_ENABLE_FLASHCOMM1=1

vllm serve <glm-5.2-model> \
  --tensor-parallel-size <N> \
  --prefill-context-parallel-size 1 \
  --decode-context-parallel-size <N> \
  --block-size <B> \
  --cp-kv-cache-interleave-size <B> \
  --additional-config '{"enable_dsa_cp": true}'

复制索引器会按 DCP 世界大小比例增加索引器缓存内存;SFA KV 缓存本身保持分片。对于此 SFA CP 路径,cp_kv_cache_interleave_size 必须等于 block_size。配置验证期间会覆盖不匹配的设置,但部署应显式设置这两个值,以避免依赖该回退。

预填充上下文并行(PCP)#

令牌的头尾风格分区

PCP 需要拆分输入序列,并确保预填充阶段各设备间的计算负载平衡。我们采用头尾风格进行拆分和拼接:具体来说,序列首先被填充到 2*pcp_size 的长度,然后分成 2*pcp_size 个相等的部分。第一部分与最后一部分合并,第二部分与倒数第二部分合并,依此类推,从而为每个设备分配计算平衡的块。此外,由于 KV 或 Q 的 allgather 聚合会导致来自不同请求的块交错,我们计算 pcp_allgather_restore_idx 以快速恢复原始顺序。

这些逻辑在函数 _update_tokens_for_pcp 中实现。

PCP-Partition

预填充阶段:

在预填充阶段(不包括分块预填充),我们采用 all-gather KV 方法来解决单个 GPU 上序列不完整的问题。需要注意的是,我们每次只聚合当前层的 KV 值,这些值在使用后立即丢弃,避免了过高的峰值内存使用。此方法也可直接应用于 KV 缓存存储(由于 KV 缓存分区方法与 PCP 序列分区方法不同,每个 GPU 不可避免地需要完整的 KV 值副本)。所有注意力后端在此逻辑上保持一致。

注意:虽然环形注意力方法也可以以更低的峰值内存促进信息交换并实现计算-通信重叠,但在评估了开发复杂度高且重叠收益有限后,我们优先考虑了 all-gather KV 实现。

PCP-Prefill

解码阶段:

在解码阶段,我们只需要在 DCP all-to-all 通信交换输出和 LSE 之后,在 PCP 组内添加一个 allgather,然后再进行输出更新。

PCP-Decode

分块预填充:

目前,有三种可行的方法用于分块预填充兼容性:AllGatherQ、AllGatherKV 和 Ring-Attn。由于 PCP 对查询序列和 KV 缓存都执行序列分片,我们需要确保一侧拥有完整信息,或采用像 Ring-Attn 这样的方法顺序执行计算。Ring-Attn 的优缺点在此不再赘述。

我们在 GQA 注意力后端实现了 AllGatherQ 方法,在 MLA 注意力后端实现了 AllGatherKV 方法。AllGatherQ 之后的工作流程与解码阶段相同,而 AllGatherKV 之后的工作流程与标准预填充阶段相同。详情请参考下图,具体步骤不再重复。

一个重要提示:AllGatherKV 在上下文长度过长时可能导致显著的峰值内存使用。为缓解此问题,我们采用分段处理策略。通过预定义每轮处理的 KV 缓存最大量,我们依次完成每个分段的注意力计算和在线 softmax 更新。

PCP-分块预填充

SFA DSA-CP 混合 o_proj 路径#

SFA DSA-CP 混合执行有意复用了正常的 TP 分片 o_proj。这是 DSA-CP 混合数据路径的一部分,而非独立的面向用户的 o_proj TP 开关。当单个实例可能同时处理仅解码和预填充/混合批次时,使用混合路径,因此 o_proj 必须在运行时支持两种布局:

  • 仅解码批次 保持解码 TP 路径。SFA 输出通过 TP 组内的 all-to-all 交换,然后原始的 TP 分片 o_proj 正常运行。

  • 预填充或混合批次 产生的 SFA 输出与 TP 分片 o_proj 的输入布局不直接兼容。在 o_proj 前向传播前,每个 rank 将 TP 分片的 o_proj 权重和所有输入分片的量化参数 all-gather 到临时全权重缓冲区。全权重 o_proj 前向传播对该批次运行一次,然后模块恢复为 TP 参数别名。

存储不变性是:原始的 TP 分片 o_proj 参数仍然是唯一持久化的真实来源。o_proj_tp_* 张量是原始参数存储的别名。o_proj_full_* 张量是仅用于预填充/混合全收集执行的可重用通信缓冲区。它们不得成为 TP 权重的第二个持久化副本。

这种耦合保留了现有的解码 TP 行为,支持预填充/混合 DSA-CP 批次,并避免了添加额外的配置路径,该路径的状态可能与 DSA-CP 混合执行产生偏差。