Qwen3-235B-A22B

Qwen3-235B-A22B#

简介#

Qwen3 是通义千问系列最新一代的大语言模型，提供了一套完整的稠密（dense）和混合专家（MoE）模型。基于海量的训练数据，Qwen3 在推理、指令遵循、智能体能力和多语言支持方面取得了突破性的进展。

本文档将展示该模型的主要验证步骤，包括支持的功能、功能配置、环境准备、单节点及多节点部署、精度和性能评估。

Qwen3-235B-A22B 模型最早在 vllm-ascend:v0.8.4rc2 版本中得到支持。

支持的功能#

请参考 支持功能列表 以获取模型支持的功能矩阵。

请参考 功能指南 获取各项功能的配置。

环境准备#

模型权重#

  • Qwen3-235B-A22B（BF16 版本）：需要 1 个 Atlas 800 A3（64G * 16）节点、1 个 Atlas 800 A2（64G * 8）节点或 2 个 Atlas 800 A2（32G * 8）节点。下载模型权重

  • Qwen3-235B-A22B-w8a8（量化版本）：需要 1 个 Atlas 800 A3（64G * 16）节点、1 个 Atlas 800 A2（64G * 8）节点或 2 个 Atlas 800 A2（32G * 8）节点。下载模型权重

建议将模型权重下载到多节点共享目录中，例如 /root/.cache/。

验证多节点通信（可选）#

如果您想部署多节点环境，请参考 验证多节点通信环境 进行验证。

安装#

例如，使用镜像 quay.io/ascend/vllm-ascend:v0.11.0rc2（适用于 Atlas 800 A2）或 quay.io/ascend/vllm-ascend:v0.11.0rc2-a3（适用于 Atlas 800 A3）。

根据您的机器类型选择镜像并在节点上启动 Docker 镜像，详见 使用 Docker。

  # Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
  # Update the vllm-ascend image according to your environment.
  # Note you should download the weight to /root/.cache in advance.
  # Update the vllm-ascend image
  export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.13.0
  export NAME=vllm-ascend

  # Run the container using the defined variables
  # Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance
  docker run --rm \
  --name $NAME \
  --net=host \
  --shm-size=1g \
  --device /dev/davinci0 \
  --device /dev/davinci1 \
  --device /dev/davinci2 \
  --device /dev/davinci3 \
  --device /dev/davinci4 \
  --device /dev/davinci5 \
  --device /dev/davinci6 \
  --device /dev/davinci7 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
  -v /etc/ascend_install.info:/etc/ascend_install.info \
  -it $IMAGE bash

您可以直接从源码进行构建。

如果您要部署多节点环境，需要在每个节点上分别进行环境配置。

部署#

单节点部署#

Qwen3-235B-A22B 和 Qwen3-235B-A22B-w8a8 均可部署在 1 台 Atlas 800 A3（64G16）或 1 台 Atlas 800 A2（64G8）上。量化版本启动时需添加参数 --quantization ascend。

运行以下脚本以执行 128k 上下文的在线推理。

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=true
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=512
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export TASK_QUEUE_ENABLE=1

vllm serve vllm-ascend/Qwen3-235B-A22B-w8a8 \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 8 \
--data-parallel-size 1 \
--seed 1024 \
--quantization ascend \
--served-model-name qwen3 \
--max-num-seqs 4 \
--max-model-len 133000 \
--max-num-batched-tokens 8096 \
--enable-expert-parallel \
--trust-remote-code \
--gpu-memory-utilization 0.95 \
--hf-overrides '{"rope_parameters": {"rope_type":"yarn","rope_theta":1000000,"factor":4,"original_max_position_embeddings":32768}}' \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--async-scheduling

注意：

  • Qwen3-235B-A22B 原生仅支持 40960 上下文（max_position_embeddings）。如果您希望使用该模型及其相关量化权重运行长序列（如 128k 上下文），必须使用 yarn rope-scaling 技术。

    • 对于等于或高于 v0.12.0 的 vLLM 版本，请使用参数：--hf-overrides '{"rope_parameters": {"rope_type":"yarn","rope_theta":1000000,"factor":4,"original_max_position_embeddings":32768}}' \。

    • 对于低于 v0.12.0 的 vLLM 版本，请使用参数：--rope_scaling '{"rope_type":"yarn","factor":4,"original_max_position_embeddings":32768}' \。如果您使用的是类似 Qwen3-235B-A22B-Instruct-2507 这种原生支持长上下文的权重，则无需添加此参数。

参数说明如下：

  • --data-parallel-size 1 和 --tensor-parallel-size 8 是数据并行 (DP) 和张量并行 (TP) 大小的常用设置。

  • --max-model-len 代表上下文长度，即单次请求输入加输出的最大 token 数。

  • --max-num-seqs 表示每个 DP 组允许处理的最大请求数。如果发送给服务的请求数超过此限制，多出的请求将处于等待状态且不会被调度。请注意，等待状态的时间也会被计入 TTFT 和 TPOT 等指标。因此，在测试性能时，通常建议使 --max-num-seqs * --data-parallel-size 大于或等于实际总并发量。

  • --max-num-batched-tokens 代表模型在单步中可以处理的最大 token 数。目前，vLLM v1 调度默认开启了 ChunkPrefill/SplitFuse，这意味着：

    • (1) 如果请求的输入长度大于 --max-num-batched-tokens，它将根据该值被划分为多轮计算；

    • (2) 解码（Decode）请求会被优先调度，只有在有可用容量时才会调度预填充（Prefill）请求。

    • 通常情况下，--max-num-batched-tokens 设置得越大，整体延迟越低，但对显存（激活值占用）的压力也越大。

  • --gpu-memory-utilization 代表 vLLM 用于实际推理的显存比例。其核心功能是计算可用的 kv_cache 大小。在预热阶段（vLLM 中称为 profile run），vLLM 会记录输入大小为 --max-num-batched-tokens 时推理过程的峰值显存占用。可用的 kv_cache 大小计算公式为： --gpu-memory-utilization * 显存总量 - 峰值显存占用。因此，该值设置得越大，可用的 kv_cache 就越多。但由于预热阶段的显存占用可能与实际推理（例如 EP 负载不均）有所不同，该值设置过高可能会导致实际推理中出现 OOM（显存溢出）。默认值为 0.9。

  • --enable-expert-parallel 表示开启专家并行 (EP)。注意 vLLM 目前不支持 ETP 和 EP 混合模式；也就是说，MoE 只能使用纯 EP 或纯 TP。

  • --no-enable-prefix-caching 表示禁用前缀缓存。若要开启，请移除此选项。

  • --quantization "ascend" 表示使用量化。若要禁用量化，请移除此选项。

  • --compilation-config 包含与 aclgraph 图模式相关的配置。最重要的配置是 "cudagraph_mode" 和 "cudagraph_capture_sizes"，含义如下： "cudagraph_mode"：表示具体的图模式。目前支持 "PIECEWISE" 和 "FULL_DECODE_ONLY"。图模式主要用于减少算子调度开销。目前推荐使用 "FULL_DECODE_ONLY"。

  • "cudagraph_capture_sizes"：代表不同层级的图模式捕获大小。默认值为 [1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]。在图模式中，各层级图的输入是固定的，层级之间的输入会自动填充到下一层级。目前建议使用默认设置，仅在特定场景下才需要单独设置以达到最佳性能。

  • export VLLM_ASCEND_ENABLE_FLASHCOMM1=1 表示开启 Flashcomm1 优化。目前，该优化仅在 tp_size > 1 的 MoE 场景下支持。

使用 Ray 进行多节点部署#

预填充-解码分离（PD 分离）#

功能验证#

服务启动后，您可以使用输入提示词查询模型：

curl http://<node0_ip>:<port>/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3",
        "prompt": "The future of AI is",
        "max_tokens": 50,
        "temperature": 0
    }'

精度评估#

以下是两种精度评估方法。

使用 AISBench#

  1. 详见 使用 AISBench。

  2. 执行后即可获取结果，以下是 vllm-ascend:0.11.0rc0 下 Qwen3-235B-A22B-w8a8 的结果，仅供参考。

数据集

版本

指标

模式

vllm-api-general-chat

cevaldataset

-

准确率

生成

91.16

性能指标#

使用 AISBench#

详见 使用 AISBench 进行性能评估。

使用 vLLM 基准测试#

以运行 Qwen3-235B-A22B-w8a8 的性能评估为例。

详见 vLLM 基准测试文档。

vllm bench 包含三个子命令：

  • latency: 测试单批次请求的延迟。

  • serve: 测试在线服务的吞吐量。

  • throughput: 测试离线推理的吞吐量。

以 serve 命令为例。运行代码如下。

export VLLM_USE_MODELSCOPE=true
vllm bench serve --model vllm-ascend/Qwen3-235B-A22B-w8a8  --dataset-name random --random-input 200 --num-prompt 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，即可获得性能评估结果。

复现性能结果#

在本章节中，我们提供了复现最新性能数据的简易脚本。同时建议阅读上述指令以理解 vLLM 及 vLLM-Ascend 中的基本概念和选项。

环境配置#

  • vLLM v0.13.0

  • vLLM-Ascend v0.13.0rc1

  • CANN 8.3.RC2

  • torch_npu 2.8.0

  • HDK/驱动 25.3.RC1

  • triton_ascend 3.2.0

单节点 A3 （64G*16）#

服务端示例脚本：

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=true
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=512
export HCCL_OP_EXPANSION_MODE="AIV"
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export TASK_QUEUE_ENABLE=1

vllm serve vllm-ascend/Qwen3-235B-A22B-w8a8 \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 4 \
--data-parallel-size 4 \
--seed 1024 \
--quantization ascend \
--served-model-name qwen3 \
--max-num-seqs 128 \
--max-model-len 40960 \
--max-num-batched-tokens 16384 \
--enable-expert-parallel \
--trust-remote-code \
--gpu-memory-utilization 0.9 \
--no-enable-prefix-caching \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--async-scheduling

基准测试脚本：

vllm bench serve --model qwen3 \
--tokenizer vllm-ascend/Qwen3-235B-A22B-w8a8 \
--ignore-eos \
--dataset-name random \
--random-input-len 3584 \
--random-output-len 1536 \
--num-prompts 800 \
--max-concurrency 160 \
--request-rate 24 \
--host 0.0.0.0 \
--port 8000 \

参考测试结果：

总请求数

并发量

平均 TTFT (ms)

平均 TPOT (ms)

输出 Token 吞吐量 (tok/s)

720

144

4717.45

48.69

2761.72

备注：

  1. 设置 export VLLM_ASCEND_ENABLE_FUSED_MC2=1 将启用 MoE 融合算子，从而减少 MoE 在 prefill 和 decode 阶段的耗时。这是一个实验性功能，目前仅支持 Atlas A3 服务器上的 W8A8 量化。如果您在使用此功能时遇到任何问题，可以通过设置 export VLLM_ASCEND_ENABLE_FUSED_MC2=0 来禁用它，并在 vLLM-Ascend 社区反馈问题。

  2. 由于数据集是随机的，我们在此禁用了前缀缓存。如果请求具有较长的公共前缀，您可以开启它。

三节点 A3 -- 预填充-解码分离（PD 分离）#

在三台 Atlas 800 A3（64G*16）服务器上，我们建议使用一个节点作为 prefill 实例，两个节点作为 decode 实例。服务端示例脚本：Prefill 节点 1

#!/bin/sh
export HCCL_IF_IP=prefill_node_1_ip

# Set ifname according to your network setting
ifname=""

export GLOO_SOCKET_IFNAME=${ifname}
export TP_SOCKET_IFNAME=${ifname}
export HCCL_SOCKET_IFNAME=${ifname}

# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=true
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=512
export HCCL_OP_EXPANSION_MODE="AIV"
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=2
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

vllm serve vllm-ascend/Qwen3-235B-A22B-w8a8 \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 8 \
--data-parallel-size 2 \
--data-parallel-size-local 2 \
--data-parallel-start-rank 0 \
--data-parallel-address prefill_node_1_ip \
--data-parallel-rpc-port prefill_node_dp_port \
--seed 1024 \
--quantization ascend \
--served-model-name qwen3 \
--max-num-seqs 24 \
--max-model-len 40960 \
--max-num-batched-tokens 16384 \
--enable-expert-parallel \
--enforce-eager \
--trust-remote-code \
--gpu-memory-utilization 0.9 \
--enforce-eager \
--no-enable-prefix-caching \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "0",
"kv_connector_module_path": "vllm_ascend.distributed.mooncake_connector",
"kv_connector_extra_config": {
      "use_ascend_direct": true,
      "prefill": {
            "dp_size": 2,
            "tp_size": 8
      },
      "decode": {
            "dp_size": 8,
            "tp_size": 4
      }
}
}'

Decode 节点 1

#!/bin/sh
export HCCL_IF_IP=decode_node_1_ip

ifname=""

export GLOO_SOCKET_IFNAME=${ifname}
export TP_SOCKET_IFNAME=${ifname}
export HCCL_SOCKET_IFNAME=${ifname}

# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=true
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1024
export HCCL_OP_EXPANSION_MODE="AIV"
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=2
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

vllm serve vllm-ascend/Qwen3-235B-A22B-w8a8 \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 4 \
--data-parallel-size 8 \
--data-parallel-size-local 4 \
--data-parallel-start-rank 0 \
--data-parallel-address decode_node_1_ip \
--data-parallel-rpc-port decode_node_dp_port \
--seed 1024 \
--quantization ascend \
--served-model-name qwen3 \
--max-num-seqs 128 \
--max-model-len 40960 \
--max-num-batched-tokens 256 \
--enable-expert-parallel \
--trust-remote-code \
--gpu-memory-utilization 0.9 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--async-scheduling \
--no-enable-prefix-caching \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30100",
"engine_id": "1",
"kv_connector_module_path": "vllm_ascend.distributed.mooncake_connector",
"kv_connector_extra_config": {
      "use_ascend_direct": true,
      "prefill": {
            "dp_size": 2,
            "tp_size": 8
      },
      "decode": {
            "dp_size": 8,
            "tp_size": 4
      }
}
}'

Decode 节点 2

#!/bin/sh
export HCCL_IF_IP=decode_node_2_ip

ifname=""

export GLOO_SOCKET_IFNAME=${ifname}
export TP_SOCKET_IFNAME=${ifname}
export HCCL_SOCKET_IFNAME=${ifname}

# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=true
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1024
export HCCL_OP_EXPANSION_MODE="AIV"
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=2
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

vllm serve vllm-ascend/Qwen3-235B-A22B-w8a8 \
--host 0.0.0.0 \
--port 8000 \
--headless \
--tensor-parallel-size 4 \
--data-parallel-size 8 \
--data-parallel-size-local 4 \
--data-parallel-start-rank 4 \
--data-parallel-address decode_node_1_ip \
--data-parallel-rpc-port decode_node_dp_port \
--seed 1024 \
--quantization ascend \
--served-model-name qwen3 \
--max-num-seqs 128 \
--max-model-len 40960 \
--max-num-batched-tokens 256 \
--enable-expert-parallel \
--trust-remote-code \
--gpu-memory-utilization 0.9 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--async-scheduling \
--no-enable-prefix-caching \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30100",
"engine_id": "1",
"kv_connector_module_path": "vllm_ascend.distributed.mooncake_connector",
"kv_connector_extra_config": {
      "use_ascend_direct": true,
      "prefill": {
            "dp_size": 2,
            "tp_size": 8
      },
      "decode": {
            "dp_size": 8,
            "tp_size": 4
      }
}
}'

PD 代理 (Proxy)：

python load_balance_proxy_server_example.py --port 12347 --prefiller-hosts prefill_node_1_ip --prefiller-port 8000 --decoder-hosts decode_node_1_ip --decoder-ports 8000

基准测试脚本：

vllm bench serve --model qwen3 \
--tokenizer vllm-ascend/Qwen3-235B-A22B-w8a8 \
--ignore-eos \
--dataset-name random \
--random-input-len 3584 \
--random-output-len 1536 \
--num-prompts 2880 \
--max-concurrency 576 \
--request-rate 8 \
--host 0.0.0.0 \
--port 12347 \

参考测试结果：

总请求数

并发量

平均 TTFT (ms)

平均 TPOT (ms)

输出 Token 吞吐量 (tok/s)

2880

576

3735.98

52.07

8593.44

备注：

  1. 在此场景下（通常 Qwen3-235B 为 EP32），我们建议设置 export VLLM_ASCEND_ENABLE_FUSED_MC2=2。这将启用另一种不同的 MoE 融合算子。