长序列上下文并行（Deepseek）¶

快速开始¶

Note

上下文并行功能目前仅在 Atlas A3 设备上支持，未来将在 Atlas A2 上支持。

vLLM-Ascend 现已支持长序列的上下文并行选项。本指南将逐步指导如何在资源受限的情况下验证这些功能。

以 Deepseek-V3.1-w8a8 模型为例，使用 3 台 Atlas 800T A3 服务器部署“1P1D”架构。节点 p 跨多台机器部署，而节点 d 部署在单台机器上。假设预填充服务器的 IP 为 192.0.0.1（prefill 1）和 192.0.0.2（prefill 2），解码器服务器为 192.0.0.3（decoder 1）。每台服务器使用 8 个 NPU 共 16 个芯片部署一个服务实例。在当前示例中，我们将在节点 p 上启用上下文并行功能以改善 TTFT。虽然在节点 d 上启用 DCP 功能可以减少内存使用，但会引入额外的通信和小算子开销。因此，我们不会在节点 d 上启用 DCP 功能。

环境准备¶

模型权重¶

DeepSeek-V3.1_w8a8mix_mtp（混合 mtp 量化版本）：下载模型权重。请在 torch_dtype 中将 float16 从 bfloat16 修改为 config.json。

建议将模型权重下载到多个节点的共享目录中，例如 /root/.cache/

验证多节点通信¶

请参考验证多节点通信环境来验证多节点通信。

安装¶

您可以使用我们的官方 Docker 镜像直接运行 DeepSeek-V3.1。

根据您的机器类型选择镜像，并在节点上启动 Docker 镜像，请参考使用 Docker。

# Update the vllm-ascend image according to your environment.
export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.22.1rc1
export NAME=vllm-ascend

# Run the container using the defined variables
# Note: If you are running bridge network with Docker, please expose available ports for multiple nodes communication in advance
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash

您需要在每个节点上设置环境。

预填充器/解码器部署¶

我们可以分别运行以下脚本在预填充器/解码器节点上启动服务器。请注意，每个 P/D 节点将占用从 kv_port 到 kv_port + num_chips 的端口来初始化 socket 监听器。为避免问题，应防止端口冲突。此外，请确保每个节点的 engine_id 唯一分配以避免冲突。

运行以下脚本分别在三个节点上执行在线 128k 推理。

预填充节点 1预填充节点 2解码器节点 1

```shell
nic_name="eth0"  # network card name
local_ip="192.0.0.1"
master_addr="192.0.0.1"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_BUFFSIZE=768
export OMP_PROC_BIND=false
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export OMP_NUM_THREADS=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1

vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
  --host 0.0.0.0 \
  --port 8004 \
  --decode-context-parallel-size 8 \
  --prefill-context-parallel-size 2 \
  --cp-kv-cache-interleave-size 128 \
  --tensor-parallel-size 16 \
  --enable-expert-parallel \
  --quantization ascend \
  --enforce-eager \
  --served-model-name deepseek_v3 \
  --seed 1024 \
  --no-enable-chunked-prefill \
  --no-enable-prefix-caching \
  --max-num-seqs 1 \
  --max-model-len 136000 \
  --max-num-batched-tokens 136000 \
  --block-size 128 \
  --trust-remote-code \
  --gpu-memory-utilization 0.8 \
  --nnodes 2 \
  --node-rank 0 \
  --master-addr $master_addr \
  --master-port 7001 \
  --speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
  --kv-transfer-config \
  '{"kv_connector": "MooncakeConnectorV1",
  "kv_role": "kv_producer",
  "kv_port": "30000",
  "kv_connector_extra_config": {
            "use_ascend_direct": true,
            "prefill": {
                    "dp_size": 1,
                    "tp_size": 16
            },
            "decode": {
                    "dp_size": 1,
                    "tp_size": 16
            }
      }
  }'
```

```shell
nic_name="eth0"  # network card name
local_ip="192.0.0.2"
master_addr="192.0.0.1"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_BUFFSIZE=768
export OMP_PROC_BIND=false
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export OMP_NUM_THREADS=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1

vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
  --host 0.0.0.0 \
  --port 8004 \
  --decode-context-parallel-size 8 \
  --prefill-context-parallel-size 2 \
  --cp-kv-cache-interleave-size 128 \
  --tensor-parallel-size 16 \
  --enable-expert-parallel \
  --quantization ascend \
  --enforce-eager \
  --served-model-name deepseek_v3 \
  --seed 1024 \
  --no-enable-chunked-prefill \
  --no-enable-prefix-caching \
  --max-num-seqs 1 \
  --max-model-len 136000 \
  --max-num-batched-tokens 136000 \
  --block-size 128 \
  --trust-remote-code \
  --gpu-memory-utilization 0.8 \
  --nnodes 2 \
  --node-rank 1 \
  --headless \
  --master-addr $master_addr \
  --master-port 7001 \
  --speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
  --kv-transfer-config \
  '{"kv_connector": "MooncakeConnectorV1",
  "kv_role": "kv_producer",
  "kv_port": "30000",
  "kv_connector_extra_config": {
            "use_ascend_direct": true,
            "prefill": {
                    "dp_size": 1,
                    "tp_size": 16
            },
            "decode": {
                    "dp_size": 1,
                    "tp_size": 16
            }
      }
  }'
```

```shell
nic_name="eth0"  # network card name
local_ip="192.0.0.3"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_BUFFSIZE=768
export OMP_PROC_BIND=false
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export OMP_NUM_THREADS=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1

vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
  --host 0.0.0.0 \
  --port 8004 \
  --api-server-count 1 \
  --data-parallel-size 1 \
  --data-parallel-size-local 1 \
  --data-parallel-start-rank 0 \
  --data-parallel-address $local_ip \
  --data-parallel-rpc-port 5980  \
  --decode-context-parallel-size 1 \
  --tensor-parallel-size 16 \
  --enable-expert-parallel \
  --quantization ascend \
  --no-enable-prefix-caching \
  --distributed-executor-backend mp \
  --served-model-name deepseek_v3 \
  --seed 1024 \
  --max-model-len 136000 \
  --max-num-batched-tokens 128 \
  --enable-chunked-prefill \
  --max-num-seqs 4 \
  --trust-remote-code \
  --gpu-memory-utilization 0.96 \
  --additional-config '{"recompute_scheduler_enable": true}' \
  --speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
  --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes":[1,2,4]}' \
  --kv-transfer-config \
  '{"kv_connector": "MooncakeConnectorV1",
  "kv_role": "kv_consumer",
  "kv_port": "30200",
  "kv_connector_extra_config": {
            "prefill": {
                    "dp_size": 1,
                    "tp_size": 16
            },
            "decode": {
                    "dp_size": 1,
                    "tp_size": 16
            }
      }
  }'
```

预填充主节点 proxy.sh 脚本

python load_balance_proxy_server_example.py \
  --port 8005 \
  --host 192.0.0.1 \
  --prefiller-hosts \
    192.0.0.1 \
  --prefiller-ports \
    8004 \
  --decoder-hosts \
    192.0.0.3 \
  --decoder-ports \
    8004

运行代理

在与预填充服务实例相同的节点上运行代理服务器。您可以在仓库的示例中获取代理程序：load_balance_proxy_server_example.py

cd vllm-ascend/examples/disaggregated_prefill_v1/
bash proxy.sh

注意： 参数说明如下：

--tensor-parallel-size 16 是张量并行（TP）大小的常见设置。
--prefill-context-parallel-size 2 是预填充上下文并行（PCP）大小的常见设置。
--decode-context-parallel-size 8 是解码上下文并行（DCP）大小的常见设置。
--max-model-len 表示上下文长度，即单个请求的输入加输出的最大值。
--max-num-seqs 表示每个DP组允许处理的最大请求数。如果发送到服务的请求数超过此限制，多余的请求将保持等待状态，不会被调度。请注意，等待状态所花费的时间也会计入TTFT和TPOT等指标。因此，在测试性能时，通常建议 --max-num-seqs * --data-parallel-size >= 实际总并发数。
--max-num-batched-tokens 表示模型单步可处理的最大token数。目前，vLLM v1调度默认启用ChunkPrefill/SplitFuse，这意味着：
- (1) 如果请求的输入长度大于 --max-num-batched-tokens，则会根据 --max-num-batched-tokens 将其分成多轮计算；
- (2) 解码请求优先调度，仅在有可用容量时才调度预填充请求。
- 通常，如果 --max-num-batched-tokens 设置得较大，整体延迟会更低，但对NPU内存（激活值使用）的压力会更大。
--gpu-memory-utilization 表示vLLM将用于实际推理的HBM比例。其本质功能是计算可用的kv_cache大小。在预热阶段（vLLM中称为profile run），vLLM记录输入大小为 --max-num-batched-tokens 的推理过程中的峰值NPU内存使用量。然后，可用的kv_cache大小计算为：--gpu-memory-utilization * HBM大小 - 峰值NPU内存使用量。因此，--gpu-memory-utilization 的值越大，可用的kv_cache就越多。但是，由于预热阶段的NPU内存使用量可能与实际推理阶段不同（例如，由于EP负载不均衡），将 --gpu-memory-utilization 设置过高可能会导致实际推理时出现OOM（内存不足）问题。默认值为 0.9。
--enable-expert-parallel 表示启用EP。请注意，vLLM不支持ETP和EP的混合方法；也就是说，MoE要么使用纯EP，要么使用纯TP。
--no-enable-prefix-caching 表示禁用前缀缓存。要启用它，请移除此选项。
--quantization "ascend" 表示使用量化。要禁用量化，请移除此选项。
--additional-config '{"recompute_scheduler_enable": true}'：启用重计算调度器。当解码节点的键值缓存（KV Cache）不足时，请求将被发送到预填充节点以重新计算KV Cache。在PD分离场景中，仅在解码节点上启用此配置。
--compilation-config 包含与aclgraph图模式相关的配置。最重要的配置是 "cudagraph_mode" 和 "cudagraph_capture_sizes"，其含义如下： "cudagraph_mode"：表示具体的图模式。目前支持 "PIECEWISE" 和 "FULL_DECODE_ONLY"。图模式主要用于降低算子调度的开销。目前推荐使用 "FULL_DECODE_ONLY"。
"cudagraph_capture_sizes"：表示不同级别的图模式。默认值为 [1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]。在图模式下，不同级别图的输入是固定的，级别之间的输入会自动填充到下一级别。目前，建议使用默认设置。仅在部分场景下需要单独设置以达到最佳性能。
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1 表示启用Flashcomm1优化。目前，此优化仅在tensor-parallel-size > 1的场景下支持MoE。

注意：

tensor-parallel-size 需要能被 decode-context-parallel-size 整除。
decode-context-parallel-size 必须小于或等于 tensor-parallel-size。

精度评估¶

使用 AISBench¶

详情请参考使用 AISBench。
执行后可获得结果，以下为 DeepSeek-V3.1-w8a8 的结果，仅供参考。

数据集	版本	指标	模式	vllm-api-general-chat
aime2024	-	accuracy	gen	86.67

性能¶

使用 AISBench¶

详情请参考使用 AISBench 进行性能评估。

使用 vLLM Benchmark¶

以运行 DeepSeek-V3.1-w8a8 的性能评估为例。

更多详情请参考 vllm benchmark。

vllm bench 包含三个子命令：

latency：对单批请求的延迟进行基准测试。
serve：对在线服务吞吐量进行基准测试。
throughput：对离线推理吞吐量进行基准测试。

以 serve 为例，运行如下代码。

export VLLM_USE_MODELSCOPE=True
vllm bench serve --model /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp  --dataset-name random --random-input 131072 --num-prompts 20 --request-rate 0 --save-result --result-dir ./

大约几分钟后，即可获得性能评估结果。

数据集	版本	指标	模式	ttft
random	-	performance	perf	20.7s