长序列上下文并行(DeepSeek)#

快速入门#

备注

上下文并行功能当前仅在Atlas A3设备上支持,未来将在Atlas A2上支持。

vLLM-Ascend现已支持带上下文并行选项的长序列。本指南将逐步说明如何在资源受限的情况下验证这些功能。

以DeepSeek-V3.1-w8a8模型为例,使用3台Atlas 800T A3服务器部署“1P1D”架构。节点p跨多台机器部署,而节点d部署在单台机器上。假设预填充服务器IP为192.0.0.1(prefill 1)和192.0.0.2(prefill 2),解码器服务器为192.0.0.3(decoder 1)。每台服务器上使用8个NPU 16芯片部署一个服务实例。在当前示例中,我们将在节点p上启用上下文并行特性以提升TTFT。虽然在节点d上启用DCP特性可以减少内存占用,但会引入额外的通信和小算子开销。因此,我们不会在节点d上启用DCP特性。

环境准备#

模型权重#

  • DeepSeek-V3.1_w8a8mix_mtp(混合mtp量化版本):下载模型权重。请将config.json中的torch_dtype从float16修改为bfloat16。

建议将模型权重下载到多节点共享目录,例如/root/.cache/

验证多节点通信#

参考验证多节点通信环境验证多节点通信。

安装#

您可以直接使用官方Docker镜像运行DeepSeek-V3.1。

根据机器类型选择镜像并在节点上启动Docker镜像,参考使用Docker。

# Update the vllm-ascend image according to your environment.
export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.23.0.post1
export NAME=vllm-ascend

# Run the container using the defined variables
# Note: If you are running bridge network with Docker, please expose available ports for multiple nodes communication in advance
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash

您需要在每个节点上设置环境。

预填充/解码器部署#

我们可以分别运行以下脚本在预填充/解码器节点上启动服务。请注意,每个P/D节点将占用从kv_port到kv_port + num_chips的端口来初始化socket监听器。为避免问题,应防止端口冲突。此外,确保每个节点的engine_id唯一分配以避免冲突。

  1. 分别在三台节点上运行以下脚本执行在线128k推理。

    nic_name="eth0"  # network card name
    local_ip="192.0.0.1"
    master_addr="192.0.0.1"
    export HCCL_IF_IP=$local_ip
    export GLOO_SOCKET_IFNAME=$nic_name
    export TP_SOCKET_IFNAME=$nic_name
    export HCCL_SOCKET_IFNAME=$nic_name
    export HCCL_BUFFSIZE=768
    export OMP_PROC_BIND=false
    export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
    export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
    export OMP_NUM_THREADS=1
    export HCCL_OP_EXPANSION_MODE="AIV"
    export VLLM_USE_V1=1
    export TASK_QUEUE_ENABLE=1
    
    vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
      --host 0.0.0.0 \
      --port 8004 \
      --decode-context-parallel-size 8 \
      --prefill-context-parallel-size 2 \
      --cp-kv-cache-interleave-size 128 \
      --tensor-parallel-size 16 \
      --enable-expert-parallel \
      --quantization ascend \
      --enforce-eager \
      --served-model-name deepseek_v3 \
      --seed 1024 \
      --no-enable-chunked-prefill \
      --no-enable-prefix-caching \
      --max-num-seqs 1 \
      --max-model-len 136000 \
      --max-num-batched-tokens 136000 \
      --block-size 128 \
      --trust-remote-code \
      --gpu-memory-utilization 0.8 \
      --nnodes 2 \
      --node-rank 0 \
      --master-addr $master_addr \
      --master-port 7001 \
      --speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
      --kv-transfer-config \
      '{"kv_connector": "MooncakeConnectorV1",
      "kv_role": "kv_producer",
      "kv_port": "30000",
      "kv_connector_extra_config": {
                "use_ascend_direct": true,
                "prefill": {
                        "dp_size": 1,
                        "tp_size": 16
                },
                "decode": {
                        "dp_size": 1,
                        "tp_size": 16
                }
          }
      }'
    
    nic_name="eth0"  # network card name
    local_ip="192.0.0.2"
    master_addr="192.0.0.1"
    export HCCL_IF_IP=$local_ip
    export GLOO_SOCKET_IFNAME=$nic_name
    export TP_SOCKET_IFNAME=$nic_name
    export HCCL_SOCKET_IFNAME=$nic_name
    export HCCL_BUFFSIZE=768
    export OMP_PROC_BIND=false
    export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
    export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
    export OMP_NUM_THREADS=1
    export HCCL_OP_EXPANSION_MODE="AIV"
    export VLLM_USE_V1=1
    export TASK_QUEUE_ENABLE=1
    
    vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
      --host 0.0.0.0 \
      --port 8004 \
      --decode-context-parallel-size 8 \
      --prefill-context-parallel-size 2 \
      --cp-kv-cache-interleave-size 128 \
      --tensor-parallel-size 16 \
      --enable-expert-parallel \
      --quantization ascend \
      --enforce-eager \
      --served-model-name deepseek_v3 \
      --seed 1024 \
      --no-enable-chunked-prefill \
      --no-enable-prefix-caching \
      --max-num-seqs 1 \
      --max-model-len 136000 \
      --max-num-batched-tokens 136000 \
      --block-size 128 \
      --trust-remote-code \
      --gpu-memory-utilization 0.8 \
      --nnodes 2 \
      --node-rank 1 \
      --headless \
      --master-addr $master_addr \
      --master-port 7001 \
      --speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
      --kv-transfer-config \
      '{"kv_connector": "MooncakeConnectorV1",
      "kv_role": "kv_producer",
      "kv_port": "30000",
      "kv_connector_extra_config": {
                "use_ascend_direct": true,
                "prefill": {
                        "dp_size": 1,
                        "tp_size": 16
                },
                "decode": {
                        "dp_size": 1,
                        "tp_size": 16
                }
          }
      }'
    
    nic_name="eth0"  # network card name
    local_ip="192.0.0.3"
    export HCCL_IF_IP=$local_ip
    export GLOO_SOCKET_IFNAME=$nic_name
    export TP_SOCKET_IFNAME=$nic_name
    export HCCL_SOCKET_IFNAME=$nic_name
    export HCCL_BUFFSIZE=768
    export OMP_PROC_BIND=false
    export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
    export OMP_NUM_THREADS=1
    export HCCL_OP_EXPANSION_MODE="AIV"
    export VLLM_USE_V1=1
    export TASK_QUEUE_ENABLE=1
    
    vllm serve /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp \
      --host 0.0.0.0 \
      --port 8004 \
      --api-server-count 1 \
      --data-parallel-size 1 \
      --data-parallel-size-local 1 \
      --data-parallel-start-rank 0 \
      --data-parallel-address $local_ip \
      --data-parallel-rpc-port 5980  \
      --decode-context-parallel-size 1 \
      --tensor-parallel-size 16 \
      --enable-expert-parallel \
      --quantization ascend \
      --no-enable-prefix-caching \
      --distributed-executor-backend mp \
      --served-model-name deepseek_v3 \
      --seed 1024 \
      --max-model-len 136000 \
      --max-num-batched-tokens 128 \
      --enable-chunked-prefill \
      --max-num-seqs 4 \
      --trust-remote-code \
      --gpu-memory-utilization 0.96 \
      --additional-config '{"recompute_scheduler_enable": true}' \
      --speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp"}' \
      --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes":[1,2,4]}' \
      --kv-transfer-config \
      '{"kv_connector": "MooncakeConnectorV1",
      "kv_role": "kv_consumer",
      "kv_port": "30200",
      "kv_connector_extra_config": {
                "prefill": {
                        "dp_size": 1,
                        "tp_size": 16
                },
                "decode": {
                        "dp_size": 1,
                        "tp_size": 16
                }
          }
      }'
    
  2. 预填充主节点proxy.sh脚本

    python load_balance_proxy_server_example.py \
      --port 8005 \
      --host 192.0.0.1 \
      --prefiller-hosts \
        192.0.0.1 \
      --prefiller-ports \
        8004 \
      --decoder-hosts \
        192.0.0.3 \
      --decoder-ports \
        8004
    
  3. 运行代理

在与预填充服务实例相同的节点上运行代理服务器。您可以在仓库的示例中获取代理程序:load_balance_proxy_server_example.py

cd vllm-ascend/examples/disaggregated_prefill_v1/
bash proxy.sh

注意: 参数说明如下:

  • --tensor-parallel-size 16是张量并行(TP)大小的常见设置。

  • --prefill-context-parallel-size 2是预填充上下文并行(PCP)大小的常见设置。

  • --decode-context-parallel-size 8是解码上下文并行(DCP)大小的常见设置。

  • --max-model-len表示上下文长度,即单个请求的输入加输出的最大值。

  • --max-num-seqs表示每个DP组允许处理的最大请求数。如果发送到服务的请求数超过此限制,多余的请求将保持等待状态且不会被调度。注意,等待状态的时间也会计入TTFT和TPOT等指标。因此,在测试性能时,通常建议--max-num-seqs * --data-parallel-size >= 实际总并发数。

  • --max-num-batched-tokens表示模型单步可处理的最大token数。当前vLLM v1调度默认启用ChunkPrefill/SplitFuse,这意味着:

    • (1)如果请求的输入长度大于--max-num-batched-tokens,将根据--max-num-batched-tokens拆分为多轮计算;

    • (2)解码请求优先调度,仅当有可用容量时才调度预填充请求。

    • 通常,如果--max-num-batched-tokens设置较大,整体延迟会更低,但NPU内存(激活值使用)压力会更大。

  • --gpu-memory-utilization 表示 vLLM 将用于实际推理的 HBM 比例。其核心功能是计算可用的 kv_cache 大小。在预热阶段(vLLM 中称为 profile run),vLLM 会记录输入大小为 --max-num-batched-tokens 的推理过程中的峰值 NPU 内存使用量。可用的 kv_cache 大小计算公式为:--gpu-memory-utilization * HBM 大小 - 峰值 NPU 内存使用量。因此,--gpu-memory-utilization 的值越大,可用的 kv_cache 就越多。然而,由于预热阶段与实际推理阶段的 NPU 内存使用可能存在差异(例如,由于 EP 负载不均),将 --gpu-memory-utilization 设置过高可能会导致实际推理时出现 OOM(内存不足)问题。默认值为 0.9。

  • --enable-expert-parallel 表示启用 EP。请注意,vLLM 不支持 ETP 和 EP 的混合方式;也就是说,MoE 要么使用纯 EP,要么使用纯 TP。

  • --no-enable-prefix-caching 表示禁用前缀缓存。要启用它,请移除该选项。

  • --quantization "ascend" 表示启用量化。要禁用量化,请移除该选项。

  • --additional-config '{"recompute_scheduler_enable": true}':启用重计算调度器。当解码节点的键值缓存(KV Cache)不足时,请求将被发送到预填充节点以重新计算 KV Cache。在 PD 分离场景中,仅在解码节点上启用此配置。

  • --compilation-config 包含与 aclgraph 图模式相关的配置。其中最重要的配置是 "cudagraph_mode" 和 "cudagraph_capture_sizes",含义如下:"cudagraph_mode":表示具体的图模式。目前支持 "PIECEWISE" 和 "FULL_DECODE_ONLY"。图模式主要用于降低算子调度的开销。目前推荐使用 "FULL_DECODE_ONLY"。

  • "cudagraph_capture_sizes":表示不同级别的图模式。默认值为 [1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]。在图模式下,不同级别图的输入是固定的,级别之间的输入会自动填充到下一级别。目前推荐使用默认设置。仅在部分场景下需要单独设置以达到最佳性能。

  • export VLLM_ASCEND_ENABLE_FLASHCOMM1=1 表示启用 Flashcomm1 优化。目前,此优化仅在 tensor-parallel-size > 1 的场景下支持 MoE。

注意:

  • tensor-parallel-size 必须能被 decode-context-parallel-size 整除。

  • decode-context-parallel-size 必须小于或等于 tensor-parallel-size。

精度评估#

使用 AISBench#

  1. 详情请参考使用 AISBench。

  2. 执行后,您可以获取结果,以下为 DeepSeek-V3.1-w8a8 的结果,仅供参考。

数据集

版本

指标

模式

vllm-api-general-chat

aime2024

-

精度

生成

86.67

性能#

使用 AISBench#

详情请参考使用 AISBench 进行性能评估。

使用 vLLM Benchmark#

以 DeepSeek-V3.1-w8a8 为例运行性能评估。

更多详情请参考 vllm benchmark。

vllm bench 有三个子命令:

  • latency:对单批请求的延迟进行基准测试。

  • serve:对在线服务吞吐量进行基准测试。

  • throughput:对离线推理吞吐量进行基准测试。

以 serve 为例。运行如下代码。

export VLLM_USE_MODELSCOPE=True
vllm bench serve --model /path_to_weight/DeepSeek-V3.1_w8a8mix_mtp  --dataset-name random --random-input 131072 --num-prompts 20 --request-rate 0 --save-result --result-dir ./

大约几分钟后,您可以获取性能评估结果。

数据集

版本

指标

模式

ttft

随机

-

性能

性能

20.7秒