Qwen3-30B-A3B#

1 简介#

Qwen3-30B-A3B 是 Qwen3 系列中的混合专家(MoE)模型,总参数量为 30.5B,每个 token 激活 3.3B 参数。稀疏 MoE 架构实现了高效的训练和推理,在推理、指令遵循和智能体能力方面表现出色,同时与同等能力的稠密模型相比,保持了较低的计算成本。

本文档将演示在 vLLM-Ascend 环境中对 Qwen3-30B-A3B 的主要验证步骤,包括支持的特性、环境准备、单节点部署以及精度和性能评估。

Qwen3-30B-A3B 模型首次在 v0.8.4rc2 中得到支持。本文档基于 vLLM-Ascend v0.22.1rc 进行验证和编写。所有 v0.22.1rc 及更高版本 均可稳定运行。为使用最新特性,建议使用最新的候选发布版或正式版本。

2 支持的特性#

请参考支持的特性列表了解模型支持矩阵。

请参考特性指南了解特性配置信息。

3 前提条件#

3.1 模型权重#

以下模型变体可用。建议将模型权重下载到所有节点均可访问的共享目录。

模型

硬件要求

下载

Qwen3-30B-A3B (BF16)

Atlas 800I A3(64GB,1~2卡)
Atlas 800I A2(64GB,2~4卡)

下载

Qwen3-30B-A3B-W8A8

Atlas 800I A3(64GB,1~2卡)
Atlas 800I A2(64GB,2~4卡)

下载

Eagle3 草稿模型

不适用

下载

Atlas 300I DUO 的量化版本:

模型

量化

硬件要求

下载

Qwen3-30B-A3B-w8a8-QuaRot-310

W8A8

Atlas 300I DUO(48GB,2 卡)

下载

这些是推荐的卡数,可根据实际情况进行调整。

如果 W8A8 量化权重无法直接下载,您可以通过使用 msmodelslim 对 BF16 模型进行量化来获取。有关详细信息,请参阅量化指南。本文档中的所有模型路径都应调整为您的实际本地路径。

备注

Qwen3-30B-A3B-W8A8 采用混合量化策略(按模型结构排序):

  • 嵌入层:BF16(不量化)

  • Q/K 归一化(q_norm、k_norm):BF16

  • 注意力投影(q/k/v/o_proj):静态 W8A8,使用预计算的逐张量缩放因子

  • MoE 路由门控(mlp.gate):BF16

  • MoE 专家投影(gate/up/down_proj):动态 W8A8,推理期间实时计算输入缩放因子

4 安装#

4.1 Docker 镜像安装#

您可以使用适用于 Qwen3 MoE 模型的官方一体化 Docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0.post1-a3

docker run \
    --name vllm-ascend-env \
    --ipc host \
    --net host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /usr/local/sbin:/usr/local/sbin \
    -it -d $IMAGE bash

备注

A3 有 8 个 NPU,采用双 die 设计(共 16 个芯片:/dev/davinci[0-15])。如果您在共享机器上,请仅映射您需要的芯片(例如,NPU 0-3 使用 /dev/davinci[0-7])。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0.post1

docker run \
    --name vllm-ascend-env \
    --ipc host \
    --net host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /usr/local/sbin:/usr/local/sbin \
    -it -d $IMAGE bash
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0.post1-310p

docker run --rm \
        --name vllm-ascend \
        --shm-size=1g \
        --net=host \
        --device /dev/davinci0 \
        --device /dev/davinci1 \
        --device /dev/davinci_manager \
        --device /dev/devmm_svm \
        --device /dev/hisi_hdc \
        -v /usr/local/dcmi:/usr/local/dcmi \
        -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
        -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
        -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
        -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
        -v /etc/ascend_install.info:/etc/ascend_install.info \
        -v /root/.cache:/root/.cache \
        -it $IMAGE bash

默认工作目录是 /workspace。vLLM 和 vLLM-Ascend 作为 Python 包安装在 site-packages 中。

安装验证:

启动容器后,运行以下命令验证安装:

docker ps | grep vllm-ascend-env

预期结果:容器被列出且状态为 Up。您还可以在容器内验证 vllm-ascend 版本:

pip show vllm-ascend

预期结果:显示版本信息,与拉取的镜像版本匹配。

4.2 源码安装#

如果您不想使用 Docker 镜像,可以从源码构建。首先从源码安装 vLLM:

  1. 克隆并安装 vLLM:

    git clone https://github.com/vllm-project/vllm.git
    cd vllm
    pip install -e .
    
  2. 克隆并安装 vLLM-Ascend 仓库:

    git clone https://github.com/vllm-project/vllm-ascend.git
    cd vllm-ascend
    pip install -e .
    

备注

对于 Atlas 300I DUO,源码安装可能会引入 triton 和 triton-ascend。在 Atlas 300I DUO 上运行 vLLM-Ascend 之前,请先卸载它们:

pip uninstall -y triton-ascend triton

安装验证:

pip show vllm vllm-ascend

预期结果:显示两个包的版本信息,确认安装成功。

备注

If deploying a multi-node environment, set up the environment on each node.

有关更多详细信息,请参阅安装指南。

5 在线服务部署#

5.1 单节点在线部署#

单节点部署在同一节点内完成 Prefill 和 Decode,适用于开发、测试以及中小规模推理场景。对于 Qwen3-30B-A3B MoE 模型,需要专家并行(EP)来将专家分布到多个 NPU 上。

以下命令是一个示例配置。请根据您的实际场景调整参数。

export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
export HCCL_OP_EXPANSION_MODE="AIV"  # not needed on A2
export HCCL_BUFFSIZE=1024
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

vllm serve your_model_path \
    --served-model-name qwen3 \
    --trust-remote-code \
    --max-num-seqs 100 \
    --max-model-len 40960 \
    --max-num-batched-tokens 16384 \
    --tensor-parallel-size 4 \
    --enable-expert-parallel \
    --quantization ascend \
    --distributed_executor_backend "mp" \
    --no-enable-prefix-caching \
    --async-scheduling \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"enable_flashcomm1": true, "weight_nz_mode": 2}' \
    --gpu-memory-utilization 0.95 \
    --port 8000 \
    --speculative-config '{"method": "eagle3", "model": "your_eagle3_model_path", "num_speculative_tokens": 3}'
export VLLM_USE_MODELSCOPE=True
export ASCEND_RT_VISIBLE_DEVICES=0,1

vllm serve your_model_path  \
    --host 127.0.0.1 \
    --port 8000 \
    --tensor-parallel-size 2 \
    --max-num-seqs 32 \
    --served_model_name qwen3 \
    --dtype float16 \
    --quantization ascend \
    --max-model-len 16384 \
    --additional-config '{"ascend_compilation_config": {"fuse_norm_quant": false,"enable_npu_graph_ex":false}}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1,32]}' \
    --no-enable-prefix-caching

关键参数:

  • --tensor-parallel-size 2 将模型映射到两个 Atlas 推理设备上。根据可用设备和内存,与 ASCEND_RT_VISIBLE_DEVICES 一起调整。

  • --dtype float16 用于 Atlas 300I DUO,以匹配 Atlas 推理执行路径。

  • --max-model-len 16384 有意设置为保守值。在 Atlas 300I DUO 上,较大的上下文长度会分配较大的注意力掩码,因此不要依赖自动 max-model-len 检测。

  • --max-num-seqs 16 限制并发活动请求数,以减少 Atlas 300I DUO 上的 KV 缓存和 图捕获压力。

  • --gpu-memory-utilization 控制 KV 缓存容量。如果启动或运行时请求报告 OOM,请减小该值。

  • --additional-config '{"ascend_compilation_config": {"fuse_norm_quant": false}}' 为 Atlas 300I DUO 服务路径禁用 norm-quant 融合。

  • --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1,32]}' 为 Atlas 300I DUO 启用 decode ACLGraph 重放,并显式限制捕获大小。

  • --no-enable-prefix-caching 是此 Atlas 300I DUO 示例的默认建议,以减少内存压力。

  • --quantization ascend 为W8A8模型启用昇腾量化。部署BF16模型时请移除该选项。

备注

  • ASCEND_RT_VISIBLE_DEVICES:必须设置为分配给环境的NPU芯片ID(例如,4芯片时设为0,1,2,3)。

  • --port:调整端口以避免与同一机器上运行的其他服务冲突。

  • --no-enable-prefix-caching:默认禁用,因为该模型在昇腾NPU上的前缀缓存效果尚未完全评估。您可以尝试启用它以评估工作负载的缓存命中率。

  • --quantization ascend:W8A8量化模型必需。使用BF16权重时请移除该参数。

小技巧

有关参数详情,请参阅:

  • vLLM CLI 文档 — 标准服务参数(--host、--port、--max-model-len 等)

  • 环境变量 — Ascend 专用环境变量(HCCL_* 等)

  • 附加配置 — --additional-config 格式和选项

服务验证:

服务启动后,通过发送提示词验证其运行状态。使用示例请参考第6节。

6 功能验证#

服务启动后,可通过发送提示词调用模型。

聊天补全API:

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3",
        "messages": [
            {"role": "user", "content": "Give me a short introduction to large language models."}
        ],
        "temperature": 0.6,
        "top_p": 0.95,
        "top_k": 20,
        "max_completion_tokens": 4096
    }'

备注

根据您的部署调整以下字段:

  • URL(http://localhost:8000):将 localhost 和 8000 替换为您的服务器 IP 和 vllm serve 命令中的 --port 值。

  • model:必须与 vllm serve 命令中的 --served-model-name 值匹配(例如,qwen3)。

预期结果:HTTP 200,返回包含choices字段及生成文本的JSON响应。

7 精度评估#

使用AISBench#

有关安装、数据集下载和配置等设置详情,请参考使用AISBench。

以下是精度评估配置文件的示例配置,以GSM8K数据集为例:

# Example configuration: benchmarks/ais_bench/benchmark/configs/models/vllm_api/vllm_api_general_chat.py
from ais_bench.benchmark.models import VLLMCustomAPIChat

models = [
    dict(
        attr="service",
        type=VLLMCustomAPIChat,
        abbr='vllm-api-general-chat',
        path="your_model_path",
        model="qwen3",
        request_rate=0,
        retry=2,
        host_ip="localhost",
        host_port=8000,
        max_out_len=32768,
        batch_size=32,
        trust_remote_code=True,
        generation_kwargs=dict(
            temperature=0.6,
            top_k=20,
            top_p=0.95,
        ),
    )
]

以gsm8k数据集为例运行精度评估:

ais_bench --models vllm_api_general_chat --datasets gsm8k_gen_4_shot_cot_str --mode all --dump-eval-details --debug

下表列出了每个评估数据集的--datasets参数:

数据集

--datasets参数

GSM8K

gsm8k_gen_4_shot_cot_str

GPQA-Diamond

gpqa_gen_0_shot_cot_chat_prompt

AIME 2024

aime2024_gen_0_shot_str

LiveCodeBench

livecodebench_0_shot_chat_v4_v5_v6

--models参数值对应配置文件名称(例如,vllm_api_general_chat.py对应vllm_api_general_chat)。根据实际场景调整max_out_len、batch_size和数据集任务。

关于数据集准备,请参考AISBench数据集指南。

备注

vLLM-Ascend 还支持以下评估工具:

精度结果(Atlas 800I A3,vLLM-Ascend v0.22.1rc,W8A8):

数据集

指标

得分

GSM8K

accuracy (4-shot CoT)

92.87%

GPQA-Diamond

accuracy (0-shot CoT)

60.10%

LiveCodeBench

pass@1 (0-shot)

60.05%

AIME 2024

accuracy (0-shot)

76.67%

8 性能评估#

使用AISBench#

有关设置详情,请参考使用AISBench进行性能评估。

首先,配置用于流式性能测试的模型(ais_bench/benchmark/configs/models/vllm_api/vllm_api_stream_chat.py):

from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content

models = [
    dict(
        attr="service",
        type=VLLMCustomAPIChat,
        abbr='vllm-api-stream-chat',
        path="your_model_path",
        model="qwen3",
        stream=True,
        request_rate=0,
        retry=2,
        host_ip="localhost",
        host_port=8000,
        max_out_len=1500,
        batch_size=32,
        trust_remote_code=True,
        generation_kwargs=dict(
            temperature=0.01,
            ignore_eos=True,
        ),
        pred_postprocessor=dict(type=extract_non_reasoning_content),
    )
]

与精度配置的关键区别:stream=True、ignore_eos=True(确保输出达到max_out_len以进行一致的TPOT测量),以及batch_size控制并发数。

然后,配置合成数据集分布(ais_bench/datasets/synthetic/synthetic_config.py)。根据实际场景调整配置。请注意,随机合成数据不适用于启用前缀缓存的基准测试场景,因为随机输入会产生零缓存命中率。

synthetic_config = {
    "Type": "string",
    "RequestCount": 200,
    "StringConfig": {
        "Input": {
            "Method": "uniform",
            "Params": {"MinValue": 3500, "MaxValue": 3500}
        },
        "Output": {
            "Method": "uniform",
            "Params": {"MinValue": 1500, "MaxValue": 1500}
        }
    }
}

然后运行性能评估:

ais_bench --models vllm_api_stream_chat --datasets synthetic_gen --mode perf --debug

--models值应与模型配置文件中的abbr匹配。使用--num-prompts限制测试请求数量。

使用vLLM基准测试#

更多详情请参考vLLM基准测试。

以serve子命令为例。--random-output-len参数控制每个请求的输出token数量;根据目标场景进行调整(例如,短输出为2048,长输出为32768)。

vllm bench serve \
    --model your_model_path \
    --served-model-name qwen3 \
    --port 8000 \
    --dataset-name random \
    --random-input 200 \
    --random-output-len 2048 \
    --num-prompts 200 \
    --request-rate 1 \
    --save-result \
    --result-dir ./

9 性能调优#

9.2 调优指南#

调优方法请参考公共性能调优文档。详细功能说明请参考功能矩阵。

10 常见问题#

常见环境、安装及通用参数问题请参考公共FAQ。本章仅涉及模型相关问题。