长序列上下文并行(Deepseek)#
开始使用#
备注
上下文并行功能目前仅在 Atlas A3 设备上支持，未来将在 Atlas A2 上得到支持。
vLLM-Ascend 现在支持带上下文并行选项的长序列。本指南将逐步介绍如何使用有限资源验证这些功能。
以 Deepseek-V3.1-w8a8 模型为例，使用 3 台 Atlas 800T A3 服务器部署“1P1D”架构。节点 p 跨多台机器部署，而节点 d 部署在单台机器上。假设预填充服务器的 IP 为 192.0.0.1（预填充 1）和 192.0.0.2（预填充 2），解码器服务器为 192.0.0.3（解码器 1）。每台服务器使用 8 个 NPU 16 个芯片部署一个服务实例。在当前示例中，我们将在节点 p 上启用上下文并行功能以改善 TTFT。虽然在节点 d 上启用 DCP 功能可以减少内存使用，但会引入额外的通信和小算子开销。因此，我们不会在节点 d 上启用 DCP 功能。
环境准备#
模型权重#
DeepSeek-V3.1_w8a8mix_mtp(混合 MTP 量化版本): 下载模型权重。请在config.json中将torch_dtype从float16修改为bfloat16。
建议将模型权重下载到多个节点的共享目录中，例如 /root/.cache/
验证多节点通信#
参考验证多节点通信环境来验证多节点通信。
安装#
您可以使用我们的官方 docker 镜像直接运行 DeepSeek-V3.1。
根据您的机器类型选择镜像，并在您的节点上启动 docker 镜像，请参考使用 docker。
# Update the vllm-ascend image according to your environment.
export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.13.0
export NAME=vllm-ascend
# Run the container using the defined variables
# Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash
您需要在每个节点上设置环境。
预填充器/解码器部署#
我们可以分别运行以下脚本在预填充器/解码器节点上启动服务器。请注意，每个 P/D 节点将占用从 kv_port 到 kv_port + num_chips 的端口来初始化套接字监听器。为避免任何问题，应防止端口冲突。此外，确保每个节点的 engine_id 被唯一分配以避免冲突。
运行以下脚本分别在三个节点上执行在线 128k 推理。
nic_name="eth0" # network card name
local_ip="192.0.0.1"
master_addr="192.0.0.1"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_BUFFSIZE=768
export OMP_PROC_BIND=false
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export OMP_NUM_THREADS=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1
export VLLM_ASCEND_ENABLE_CONTEXT_PARALLEL=1
vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
--host 0.0.0.0 \
--port 8004 \
--decode-context-parallel-size 8 \
--prefill-context-parallel-size 2 \
--cp-kv-cache-interleave-size 128 \
--tensor-parallel-size 16 \
--enable-expert-parallel \
--quantization ascend \
--enforce-eager \
--served-model-name deepseek_v3 \
--seed 1024 \
--no-enable-chunked-prefill \
--no-enable-prefix-caching \
--max-num-seqs 1 \
--max-model-len 136000 \
--max-num-batched-tokens 136000 \
--block-size 128 \
--trust-remote-code \
--gpu-memory-utilization 0.8 \
--nnodes 2 \
--node-rank 0 \
--master-addr $master_addr \
--master-port 7001 \
--speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "0",
"kv_connector_module_path": "vllm_ascend.distributed.mooncake_connector",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {
"dp_size": 1,
"tp_size": 16
},
"decode": {
"dp_size": 1,
"tp_size": 16
}
}
}'
nic_name="eth0" # network card name
local_ip="192.0.0.2"
master_addr="192.0.0.1"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_BUFFSIZE=768
export OMP_PROC_BIND=false
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export OMP_NUM_THREADS=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1
export VLLM_ASCEND_ENABLE_CONTEXT_PARALLEL=1
vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
--host 0.0.0.0 \
--port 8004 \
--decode-context-parallel-size 8 \
--prefill-context-parallel-size 2 \
--cp-kv-cache-interleave-size 128 \
--tensor-parallel-size 16 \
--enable-expert-parallel \
--quantization ascend \
--enforce-eager \
--served-model-name deepseek_v3 \
--seed 1024 \
--no-enable-chunked-prefill \
--no-enable-prefix-caching \
--max-num-seqs 1 \
--max-model-len 136000 \
--max-num-batched-tokens 136000 \
--block-size 128 \
--trust-remote-code \
--gpu-memory-utilization 0.8 \
--nnodes 2 \
--node-rank 1 \
--headless \
--master-addr $master_addr \
--master-port 7001 \
--speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "1",
"kv_connector_module_path": "vllm_ascend.distributed.mooncake_connector",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {
"dp_size": 1,
"tp_size": 16
},
"decode": {
"dp_size": 1,
"tp_size": 16
}
}
}'
nic_name="eth0" # network card name
local_ip="192.0.0.3"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_BUFFSIZE=768
export OMP_PROC_BIND=false
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export OMP_NUM_THREADS=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1
export VLLM_ASCEND_ENABLE_MLAPO="1"
export VLLM_ASCEND_ENABLE_CONTEXT_PARALLEL=1
vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
--host 0.0.0.0 \
--port 8004 \
--api-server-count 1 \
--data-parallel-size 1 \
--data-parallel-size-local 1 \
--data-parallel-start-rank 0 \
--data-parallel-address $local_ip \
--data-parallel-rpc-port 5980 \
--decode-context-parallel-size 1 \
--tensor-parallel-size 16 \
--enable-expert-parallel \
--quantization ascend \
--no-enable-prefix-caching \
--distributed-executor-backend mp \
--served-model-name deepseek_v3 \
--seed 1024 \
--max-model-len 136000 \
--max-num-batched-tokens 128 \
--enable-chunked-prefill \
--max-num-seqs 4 \
--trust-remote-code \
--gpu-memory-utilization 0.96 \
--speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
--compilation_config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes":[1,2,4]}' \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30200",
"engine_id": "3",
"kv_connector_module_path": "vllm_ascend.distributed.mooncake_connector",
"kv_connector_extra_config": {
"prefill": {
"dp_size": 1,
"tp_size": 16
},
"decode": {
"dp_size": 1,
"tp_size": 16
}
}
}'
预填充主节点
proxy.sh脚本
python load_balance_proxy_server_example.py \
--port 8005 \
--host 192.0.0.1 \
--prefiller-hosts \
192.0.0.1 \
--prefiller-ports \
8004 \
--decoder-hosts \
192.0.0.3 \
--decoder-ports \
8004
运行代理
在与预填充服务实例相同的节点上运行代理服务器。您可以在仓库的示例中获取代理程序：load_balance_proxy_server_example.py
cd vllm-ascend/examples/disaggregated_prefill_v1/
bash proxy.sh
注意： 参数说明如下：
--tensor-parallel-size16 是张量并行（TP）大小的常见设置。--prefill-context-parallel-size2 是预填充上下文并行（PCP）大小的常见设置。--decode-context-parallel-size8 是解码上下文并行（DCP）大小的常见设置。--max-model-len表示上下文长度，即单个请求输入加输出的最大值。--max-num-seqs表示每个 DP 组允许处理的最大请求数。如果发送到服务的请求数超过此限制，超出部分的请求将保持在等待状态而不会被调度。请注意，在等待状态中花费的时间也会计入 TTFT 和 TPOT 等指标。因此，在测试性能时，通常建议--max-num-seqs*--data-parallel-size>= 实际总并发数。--max-num-batched-tokens表示模型在单个步骤中可以处理的最大令牌数。目前，vLLM v1 调度默认启用 ChunkPrefill/SplitFuse，这意味着：(1) 如果请求的输入长度大于
--max-num-batched-tokens，它将根据--max-num-batched-tokens分成多轮计算；(2) 解码请求优先调度，预填充请求仅在有空闲容量时调度。
一般来说，如果将
--max-num-batched-tokens设置为较大的值，整体延迟会更低，但 GPU 内存（激活值使用）的压力会更大。
--gpu-memory-utilization表示 vLLM 将用于实际推理的 HBM 比例。其本质功能是计算可用的 kv_cache 大小。在预热阶段（vLLM 中称为 profile run），vLLM 记录输入大小为--max-num-batched-tokens的推理过程中 GPU 内存的峰值使用量。然后可用 kv_cache 大小计算为：--gpu-memory-utilization* HBM 大小 - 峰值 GPU 内存使用量。因此，--gpu-memory-utilization的值越大，可使用的 kv_cache 就越多。然而，由于预热阶段的 GPU 内存使用量可能与实际推理时不同（例如，由于 EP 负载不均衡），将--gpu-memory-utilization设置过高可能导致实际推理时出现 OOM（内存不足）问题。默认值为0.9。--enable-expert-parallel表示启用了 EP。请注意，vLLM 不支持 ETP 和 EP 的混合方法；也就是说，MoE 只能使用纯 EP 或纯 TP。--no-enable-prefix-caching表示前缀缓存被禁用。要启用它，请删除此选项。--quantization"ascend" 表示使用了量化。要禁用量化，请删除此选项。--compilation-config包含与 aclgraph 图模式相关的配置。最重要的配置是 "cudagraph_mode" 和 "cudagraph_capture_sizes"，其含义如下："cudagraph_mode"：表示具体的图模式。目前支持 "PIECEWISE" 和 "FULL_DECODE_ONLY"。图模式主要用于降低算子调度的开销。目前推荐使用 "FULL_DECODE_ONLY"。"cudagraph_capture_sizes"：表示不同级别的图模式。默认值为 [1, 2, 4, 8, 16, 24, 32, 40,...,
--max-num-seqs]。在图模式下，不同级别图的输入是固定的，级别之间的输入会自动填充到下一级。目前推荐使用默认设置。只有在某些场景下才需要单独设置此参数以达到最佳性能。export VLLM_ASCEND_ENABLE_FLASHCOMM1=1表示启用了 Flashcomm1 优化。目前，此优化仅支持在张量并行大小 > 1 的场景中使用 MoE。export VLLM_ASCEND_ENABLE_CONTEXT_PARALLEL=1表示启用了上下文并行。此环境变量在 PD 架构中是必需的，但在 pd 共置部署场景中不需要。未来将被移除。
注意：
张量并行大小需要能被解码上下文并行大小整除。
解码上下文并行大小必须小于或等于张量并行大小。
精度评估#
这里有两种精度评估方法。
使用 AISBench#
详情请参考使用 AISBench。
执行后，您可以得到结果，这里是
DeepSeek-V3.1-w8a8的结果，仅供参考。
数据集 |
版本 |
指标 |
模式 |
vllm-api-general-chat |
|---|---|---|---|---|
aime2024 |
- |
准确率 |
生成 |
86.67 |
性能#
使用 AISBench#
详情请参考使用 AISBench 进行性能评估。
使用 vLLM Benchmark#
以 DeepSeek-V3.1-w8a8 为例运行性能评估。
更多详情请参考 vllm benchmark。
vllm bench 有三个子命令：
latency: 基准测试单批次请求的延迟。serve: 基准测试在线服务吞吐量。throughput: 基准测试离线推理吞吐量。
以 serve 为例。运行以下代码。
export VLLM_USE_MODELSCOPE=true
vllm bench serve --model /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp --dataset-name random --random-input 131072 --num-prompt 20 --request-rate 0 --save-result --result-dir ./
大约几分钟后，您可以得到性能评估结果。
数据集 |
版本 |
指标 |
模式 |
ttft |
|---|---|---|---|---|
随机 |
- |
性能 |
性能 |
20.7秒 |