Long-Sequence Context Parallel (Qwen3-235B-A22B)

Long-Sequence Context Parallel (Qwen3-235B-A22B)#

开始使用#

vLLM-Ascend 现在支持长序列上下文并行。本指南将逐步介绍如何使用有限资源验证这些功能。

以 Qwen3-235B-A22B-w8a8（量化版本）模型为例，使用 1 台 Atlas 800 A3 (64G × 16) 服务器部署单节点 "pd 共置" 架构。

环境准备#

模型权重#

  • Qwen3-235B-A22B-w8a8（量化版本）：需要 1 台 Atlas 800 A3 (64G × 16) 节点。下载模型权重

建议将模型权重下载到多个节点的共享目录中，例如 /root/.cache/

使用 Docker 运行#

在每个节点上启动一个 Docker 容器。

# Update the vllm-ascend image
export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.13.0
export NAME=vllm-ascend

# Run the container using the defined variables
# Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci8 \
--device /dev/davinci9 \
--device /dev/davinci10 \
--device /dev/davinci11 \
--device /dev/davinci12 \
--device /dev/davinci13 \
--device /dev/davinci14 \
--device /dev/davinci15 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /mnt/sfs_turbo/.cache:/root/.cache \
-it $IMAGE bash

部署#

单节点部署#

Qwen3-235B-A22B-w8a8 可以部署在 1 台 Atlas 800 A3（64G*16）上。量化版本需要使用参数 --quantization ascend 启动。

运行以下脚本执行在线 128k 推理。

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=true
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=512
export HCCL_OP_EXPANSION_MODE="AIV"
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export TASK_QUEUE_ENABLE=1
export VLLM_ALLOW_LONG_MAX_MODEL_LEN=1

vllm serve vllm-ascend/Qwen3-235B-A22B-w8a8 \
  --host 0.0.0.0 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --prefill-context-parallel-size 2 \
  --decode-context-parallel-size 2 \
  --seed 1024 \
  --quantization ascend \
  --served-model-name qwen3 \
  --max-num-seqs 1 \
  --max-model-len 133008 \
  --max-num-batched-tokens 133008 \
  --enable-expert-parallel \
  --trust-remote-code \
  --gpu-memory-utilization 0.95 \
  --hf-overrides '{"rope_parameters": {"rope_type":"yarn","rope_theta":1000000,"factor":4,"original_max_position_embeddings":32768}}' \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY", "cudagraph_capture_sizes":[1,2,4,8]}' \
  --async-scheduling

注意：

  • 对于低于 v0.12.0 的 vllm 版本，使用参数：--rope_scaling '{"rope_type":"yarn","factor":4,"original_max_position_embeddings":32768}' \

  • 对于 vllm 版本 v0.12.0，使用参数：--hf-overrides '{"rope_parameters": {"rope_type":"yarn","rope_theta":1000000,"factor":4,"original_max_position_embeddings":32768}}' \

参数说明如下：

  • --tensor-parallel-size 8 是张量并行（TP）大小的常见设置。

  • --prefill-context-parallel-size 2 是预填充上下文并行（PCP）大小的常见设置。

  • --decode-context-parallel-size 2 是解码上下文并行（DCP）大小的常见设置。

  • --max-model-len 表示上下文长度，即单个请求输入加输出的最大值。

  • --max-num-seqs 表示每个 DP 组允许处理的最大请求数。如果发送到服务的请求数超过此限制，超出部分的请求将保持在等待状态而不会被调度。请注意，在等待状态中花费的时间也会计入 TTFT 和 TPOT 等指标。因此，在测试性能时，通常建议 --max-num-seqs * --data-parallel-size >= 实际总并发数。

  • --max-num-batched-tokens 表示模型在单个步骤中可以处理的最大令牌数。目前，vLLM v1 调度默认启用 ChunkPrefill/SplitFuse，这意味着：

    • (1) 如果请求的输入长度大于 --max-num-batched-tokens，它将根据 --max-num-batched-tokens 分成多轮计算；

    • (2) 解码请求优先调度，预填充请求仅在有空闲容量时调度。

    • 一般来说，如果将 --max-num-batched-tokens 设置为较大的值，整体延迟会更低，但 GPU 内存（激活值使用）的压力会更大。

  • --gpu-memory-utilization 表示 vLLM 将用于实际推理的 HBM 比例。其本质功能是计算可用的 kv_cache 大小。在预热阶段（vLLM 中称为 profile run），vLLM 记录输入大小为 --max-num-batched-tokens 的推理过程中 GPU 内存的峰值使用量。然后可用 kv_cache 大小计算为：--gpu-memory-utilization * HBM 大小 - 峰值 GPU 内存使用量。因此，--gpu-memory-utilization 的值越大，可使用的 kv_cache 就越多。然而，由于预热阶段的 GPU 内存使用量可能与实际推理时不同（例如，由于 EP 负载不均衡），将 --gpu-memory-utilization 设置过高可能导致实际推理时出现 OOM（内存不足）问题。默认值为 0.9。

  • --enable-expert-parallel 表示启用了 EP。请注意，vLLM 不支持 ETP 和 EP 的混合方法；也就是说，MoE 只能使用纯 EP 或纯 TP。

  • --no-enable-prefix-caching 表示前缀缓存被禁用。要启用它，请删除此选项。

  • --quantization "ascend" 表示使用了量化。要禁用量化，请删除此选项。

  • --compilation-config 包含与 aclgraph 图模式相关的配置。最重要的配置是 "cudagraph_mode" 和 "cudagraph_capture_sizes"，其含义如下："cudagraph_mode"：表示具体的图模式。目前支持 "PIECEWISE" 和 "FULL_DECODE_ONLY"。图模式主要用于降低算子调度的开销。目前推荐使用 "FULL_DECODE_ONLY"。

  • "cudagraph_capture_sizes"：表示不同级别的图模式。默认值为 [1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]。在图模式下，不同级别图的输入是固定的，级别之间的输入会自动填充到下一级。目前推荐使用默认设置。只有在某些场景下才需要单独设置此参数以达到最佳性能。

  • export VLLM_ASCEND_ENABLE_FLASHCOMM1=1 表示启用了 Flashcomm1 优化。目前，此优化仅支持在 tp_size > 1 的场景中使用 MoE。

注意：

  • tp_size 需要能被 dcp_size 整除

  • 解码上下文并行大小必须小于或等于 max_dcp_size，其中 max_dcp_size = 张量并行大小 // 总 kv_heads 数。

精度评估#

这里有两种精度评估方法。

使用 AISBench#

  1. 详情请参考使用 AISBench。

  2. 执行后，您可以得到结果，这里是 Qwen3-235B-A22B-w8a8 的结果，仅供参考。

数据集

版本

指标

模式

vllm-api-general-chat

aime2024

-

准确率

生成

83.33

性能#

使用 AISBench#

详情请参考使用 AISBench 进行性能评估。

使用 vLLM Benchmark#

以 Qwen3-235B-A22B-w8a8 为例运行性能评估。

更多详情请参考 vllm benchmark。

vllm bench 有三个子命令：

  • latency: 基准测试单批次请求的延迟。

  • serve: 基准测试在线服务吞吐量。

  • throughput: 基准测试离线推理吞吐量。

以 serve 为例。运行以下代码。

export VLLM_USE_MODELSCOPE=true
vllm bench serve --model vllm-ascend/Qwen3-235B-A22B-w8a8  --dataset-name random --random-input 131072 --num-prompt 1 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您可以得到性能评估结果。

数据集

版本

指标

模式

ttft

随机

-

性能

性能

17.36秒