Qwen3-Dense（Qwen3-0.6B/1.7B/4B/8B/14B/32B）

1 简介

Qwen3是Qwen系列最新一代的大语言模型，提供全面的密集型和混合专家（MoE）模型套件。基于大规模训练，Qwen3在推理、指令遵循、智能体能力和多语言支持方面取得了突破性进展。本文档涵盖的Dense变体包括Qwen3-0.6B、1.7B、4B、8B、14B和32B，以及针对Ascend NPU部署优化的量化版本（W8A8、W4A4和W8A8SC-310）。

本文档将演示在 vLLM-Ascend 环境中 Qwen3 Dense 模型的主要验证步骤，包括支持的特性、环境准备、模型量化、单节点和多节点部署，以及精度和性能评估。通过定制服务级配置以适应不同的使用场景，您可以确保在各种场景下获得最佳性能。

Qwen3 Dense模型首次在v0.8.4rc2中支持。W8A8量化首次在v0.8.4rc2中支持，W4A4自v0.11.0rc1起支持。Atlas 300I DUO使用本教程中列出的W8A8SC-310量化权重。本文档基于vLLM-Ascend v0.21.0验证和编写。所有v0.21.0及更高版本均可稳定运行。要使用最新功能，建议使用最新的候选版本或正式版本。

2 支持的特性

请参考支持特性列表了解模型支持矩阵。

请参考特性指南了解特性配置信息。

3 前提条件

3.1 模型权重

以下模型变体可用。建议将模型权重下载到所有节点均可访问的共享目录中。

BF16 版本：

模型	硬件要求	下载地址
Qwen3-0.6B	1 台 Atlas A3 推理产品（64GB × 16），1 台 Atlas A2 推理产品（64GB × 8）	Modelers
Qwen3-1.7B	1 台 Atlas A3 推理产品（64GB × 16），1 台 Atlas A2 推理产品（64GB × 8）	Modelers
Qwen3-4B	1 台 Atlas A3 推理产品（64GB × 16），1 台 Atlas A2 推理产品（64GB × 8）	Modelers
Qwen3-8B	1 台 Atlas A3 推理产品（64GB × 16），1 台 Atlas A2 推理产品（64GB × 8）	Modelers
Qwen3-14B	1 台 Atlas A3 推理产品（64GB × 16），1 台 Atlas A2 推理产品（64GB × 8）	Modelers
Qwen3-32B	1 台 Atlas A3 推理产品（64GB × 16），1 台 Atlas A2 推理产品（64GB × 8）	Modelers

适用于Atlas A2/A3推理产品的量化版本：

模型	量化方式	硬件要求	下载地址
Qwen3-32B-W4A4	W4A4	1 台 Atlas A3 推理产品（64GB × 16）或 1 台 Atlas A2 推理产品（64GB × 8）	ModelScope
Qwen3-32B-W8A8	W8A8	1 台 Atlas A3 推理产品（64GB × 16）或 1 台 Atlas A2 推理产品（64GB × 8）	ModelScope

适用于Atlas 300I DUO的量化版本：

模型	量化方式	硬件要求	下载地址
Qwen3-8B-W8A8SC	W8A8SC	Atlas 300I DUO (TP1)	ModelScope
Qwen3-14B-W8A8SC	W8A8SC	Atlas 300I DUO (TP1)	ModelScope
Qwen3-32B-W8A8SC	W8A8SC	Atlas 300I DUO (TP4)	ModelScope

这些是推荐的卡数，可根据实际情况进行调整。

路径说明：将模型权重下载到您选择的目录并记录该路径。请确保后续部署命令中的模型路径与该目录一致。

4 安装

4.1 Docker 镜像安装

您可以使用官方提供的 Qwen3 Dense 模型一体化 Docker 镜像。

Docker 拉取：

docker pull quay.io/ascend/vllm-ascend:v0.23.0

Docker 运行：

在每个节点上启动docker镜像。

Atlas A3推理产品Atlas A2推理产品Atlas 300I DUO

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a3

docker run --rm \
    --name vllm-ascend-env \
    --shm-size=1g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

Note

Atlas A3推理产品拥有8个NPU，采用双芯设计（共16个芯片：/dev/davinci[0-15]）。 如果您在共享机器上，请仅映射您需要的芯片（例如，NPU 0-3使用/dev/davinci[0-7]）。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0

docker run --rm \
    --name vllm-ascend-env \
    --shm-size=1g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

# Use the vllm-ascend image
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-310p

docker run --rm \
--name vllm-ascend \
--shm-size=10g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-p 8080:8080 \
-it $IMAGE bash

默认工作目录是 /workspace。vLLM 和 vLLM-Ascend 作为 Python 包安装在 site-packages 中。

安装验证： 启动容器后，运行以下命令验证安装：

docker ps | grep vllm-ascend-env

预期结果：容器已列出，状态为 Up。您还可以在容器内验证 vllm-ascend 版本：

pip show vllm-ascend

预期结果：显示版本信息，与拉取的镜像版本匹配。

4.2 源码安装

如果您希望从源码构建而不是使用Docker镜像，请按照安装指南安装vLLM-Ascend。

Note

对于Atlas 300I DUO，源码安装可能会引入triton和triton-ascend。在Atlas 300I DUO上运行vLLM-Ascend之前，请先卸载它们：

pip uninstall -y triton-ascend triton

验证源码安装：

pip show vllm-ascend

预期结果：显示版本信息，确认安装成功。

Note

如果部署多节点环境，请在每个节点上设置环境。

5 在线服务部署

5.1 单节点在线部署

单节点部署在同一节点内完成 Prefill 和 Decode，适用于开发、测试以及中小规模推理场景。

启动服务：

以下命令为示例配置，请根据实际场景调整参数。

Atlas A2推理产品 / Atlas A3推理产品Atlas 300I DUO

Qwen3-32B-W8A8：

export HCCL_OP_EXPANSION_MODE="AIV"
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# Ensure the model path matches the directory recorded during download
vllm serve your_model_path \
    --served-model-name qwen3 \
    --trust-remote-code \
    --quantization ascend \
    --distributed-executor-backend "mp" \
    --tensor-parallel-size 4 \
    --max-model-len 5500 \
    --max-num-batched-tokens 40960 \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --port <port> \
    --gpu-memory-utilization 0.9

Qwen3-32B-W4A4：

export HCCL_BUFFSIZE=1024
export ASCEND_RT_VISIBLE_DEVICES=0,1
# Ensure the model path matches the directory recorded during download
vllm serve your_model_path \
    --port 8004 \
    --data-parallel-size 1 \
    --tensor-parallel-size 2 \
    --served-model-name qwen3 \
    --distributed-executor-backend "mp" \
    --max-model-len 40960 \
    --max-num-batched-tokens 16384 \
    --max-num-seqs 64 \
    --trust-remote-code \
    --gpu-memory-utilization 0.9 \
    --quantization ascend \
    --compilation-config '{"cudagraph_capture_sizes": [64]}' \
    --additional-config '{"ascend_compilation_config": {"fuse_norm_quant": false}}'

Qwen3-8B-W8A8SC：

export VLLM_USE_MODELSCOPE=True
export ASCEND_RT_VISIBLE_DEVICES=0

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Qwen3-8B-w8a8sc-310-vllm/TP1/Qwen3-8B-w8a8sc-310-vllm-tp1 \
    --host 127.0.0.1 \
    --port 8080 \
    --tensor-parallel-size 1 \
    --gpu-memory-utilization 0.90 \
    --max-num-seqs 32 \
    --served-model-name qwen3 \
    --dtype float16 \
    --additional-config '{"ascend_compilation_config": {"enable_npugraph_ex":false}}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1,2,4,8,16,32]}' \
    --quantization ascend \
    --max-model-len 20480 \
    --no-enable-prefix-caching \
    --load-format sharded_state

Qwen3-14B-W8A8SC：

export VLLM_USE_MODELSCOPE=True
export ASCEND_RT_VISIBLE_DEVICES=0

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Qwen3-14B-w8a8sc-310-vllm/TP1/Qwen3-14B-w8a8sc-310-vllm-tp1 \
    --host 127.0.0.1 \
    --port 8080 \
    --tensor-parallel-size 1 \
    --gpu-memory-utilization 0.90 \
    --max-num-seqs 16 \
    --served-model-name qwen3 \
    --dtype float16 \
    --additional-config '{"ascend_compilation_config": {"enable_npugraph_ex":false}}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1,2,4,8,16]}' \
    --quantization ascend \
    --max-model-len 20480 \
    --no-enable-prefix-caching \
    --load-format sharded_state

Qwen3-32B-W8A8SC：

export VLLM_USE_MODELSCOPE=True
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Qwen3-32B-w8a8sc-310-vllm/TP4/Qwen3-32B-w8a8sc-310-vllm-tp4 \
    --host 127.0.0.1 \
    --port 8080 \
    --tensor-parallel-size 4 \
    --gpu-memory-utilization 0.90 \
    --max-num-seqs 32 \
    --served-model-name qwen3 \
    --dtype float16 \
    --additional-config '{"ascend_compilation_config": {"enable_npugraph_ex":false}}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [16,32]}' \
    --quantization ascend \
    --max-model-len 20480 \
    --no-enable-prefix-caching \
    --load-format sharded_state

Note

• vLLM 服务参数文档 — 有关 vLLM 服务命令的更多参数详情。
• 环境变量 — Ascend 特有的环境变量（HCCL_* 等）。

服务验证：

如果服务启动成功，将显示以下启动日志：

(APIServer pid=<pid>) INFO:     Started server process [<pid>]
(APIServer pid=<pid>) INFO:     Waiting for application startup.
(APIServer pid=<pid>) INFO:     Application startup complete.

6 功能验证

服务启动后，可以通过发送提示词来调用模型。

聊天补全 API：

curl http://localhost:<port>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3",
        "messages": [
            {"role": "user", "content": "Give me a short introduction to large language models."}
        ],
        "temperature": 0.6,
        "top_p": 0.95,
        "top_k": 20,
        "max_completion_tokens": 4096
    }'

预期结果：HTTP 200，返回包含 choices 字段（含生成文本）的 JSON 响应。

7 精度评估

7.1 使用 AISBench

有关安装、数据集下载和配置等设置详情，请参考使用 AISBench。

以下是精度评估配置文件的示例配置：

精度评估配置文件：

# Example configuration: benchmarks/ais_bench/benchmark/configs/models/vllm_api/vllm_api_general_chat.py
from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.model_postprocessors import extract_non_reasoning_content

models = [
    dict(
        attr="service",
        type=VLLMCustomAPIChat,
        abbr='vllm-api-general-chat',
        path="your_model_path",
        model="qwen3",
        request_rate=0,
        retry=2,
        host_ip="127.0.0.1",
        host_port=2001,
        max_out_len=32768,
        batch_size=32,
        trust_remote_code=False,
        generation_kwargs=dict(
            temperature=0.6,
            top_k=20,
            top_p=0.95,
        ),
        pred_postprocessor=dict(type=extract_non_reasoning_content)
    )
]

以 aime2025 数据集为例运行精度评估：

ais_bench --models vllm_api_general_chat --datasets aime2025_gen_0_shot_chat_prompt --debug

--models 参数值对应上述配置文件中的 abbr 字段。请根据实际场景调整 max_out_len、batch_size 和数据集任务。

8 性能评估

8.1 使用 AISBench

有关安装、数据集下载和配置等设置详情，请参考使用 AISBench 了解详细信息。

以下是精度评估配置文件的示例配置：

# Example configuration: benchmarks/ais_bench/benchmark/configs/models/vllm_api/vllm_api_stream_chat.py
from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content

models = [
    dict(
        attr="service",
        type=VLLMCustomAPIChat,
        abbr="vllm-api-stream-chat",
        path="your_model_path",
        model="qwen3",
        stream=True,
        request_rate=0,
        use_timestamp=False,
        retry=2,
        host_ip="127.0.0.1",
        host_port=8004,
        max_out_len=1500,
        batch_size=90,
        trust_remote_code=False,
        generation_kwargs=dict(
            temperature=0,
            ignore_eos=True
        ),
    )
]

以 GSM8K 数据集为例运行性能评估：

ais_bench --models vllm_api_stream_chat --datasets gsm8k_gen_0_shot_cot_str_perf --debug --summarizer default_perf --mode perf --num-prompts 360

8.2 使用 vLLM Benchmark

更多详情请参考 vLLM 基准测试。

有三个 vllm bench 子命令：

• latency：对单批请求的延迟进行基准测试。
• serve：对在线服务吞吐量进行基准测试。
• throughput：对离线推理吞吐量进行基准测试。

以 serve 为例：

vllm bench serve \
    --model your_model_path \
    --served-model-name qwen3 \
    --port <port> \
    --dataset-name random \
    --random-input 200 \
    --num-prompts 200 \
    --request-rate 1 \
    --save-result \
    --result-dir ./

几分钟后，您将获得性能评估结果。

9 性能调优

有关关键参数的详细描述，请参阅 vLLM 功能、vLLM Ascend 附加配置、vLLM Ascend 功能矩阵 和 vLLM Ascend 功能指南。

9.1 推荐配置

注意：以下配置在特定测试环境中验证，仅供参考。最佳配置取决于最大输入/输出长度、前缀缓存命中率、精度要求和部署机器比例等因素。建议参考第 9.2 节根据实际情况进行调优。

表 1：场景概览

场景	部署模式	*NPU总数	权重版本	关键考量
高吞吐量	单节点（TP4）	4（Atlas A3推理产品）	W8A8	4卡TP最大化并发请求处理
长上下文	单节点（TP4）	4（Atlas A3推理产品）	W8A8	4卡TP扩展上下文窗口以处理长序列
低延迟	单节点（TP8）	8（Atlas A3推理产品）	W8A8	8卡TP降低交互式响应的每token延迟

*NPU 总数 表示所有节点使用的 NPU 总数。

表 2：详细节点配置

场景	配置	NPU	TP	DP	FUSED_MC2	EP 开关	异步调度
High Throughput	Single-Node	4	4	1	Off	Off	On
Long Context	Single-Node	4	4	1	Off	Off	On
Low Latency	Single-Node	8	8	1	Off	Off	On

有关参数的详细描述，请参阅 第 5.1 节 中的部署示例。

高吞吐配置：

export HCCL_OP_EXPANSION_MODE="AIV"
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

vllm serve your_model_path \
    --served-model-name qwen3 \
    --trust-remote-code \
    --distributed-executor-backend "mp" \
    --tensor-parallel-size 4 \
    --max-model-len 5500 \
    --max-num-batched-tokens 40960 \
    --no-enable-prefix-caching \
    --quantization ascend \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY","cudagraph_capture_sizes":[4,8,64,72,76,80,96,100,120,140,144,160,192,216,240,252,288,320,336,360,384,400,408,416,420,432,480,540,576,600]}' \
    --additional-config '{"weight_prefetch_config":{"enabled":true}, "pa_shape_list":[32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99,100,101,102,103,104,105,106,107,108,109,110,111,112,113,114,115,116,117,118,119,120,121,122,123,124,125,126,127,128,129,130,131,132,133,134,135,136,137,138,139,140,141,142,143,144,145,146,147,148,149,150,151,152,153,154,155,156,157,158,159,160,161,162,163,164,165,166,167,168,169,170,171,172,173,174,175,176,177,178,179,180,181,182,183,184,185,186,187,188,189,190,191,192,193,194,195,196,197,198,199,200,201,202,203,204,205,206,207,208,209,210,211,212,213,214,215,216,217,218,219,220,221,222,223,224,225,226,227,228,229,230,231,232,233,234,235,236,237,238,239,240,241,242,243,244,245,246,247,248,249,250,251,252,253,254,255,256]}' \
    --host <host_ip> \
    --port <port> \
    --block-size 128 \
    --gpu-memory-utilization 0.9

长上下文配置：

export HCCL_OP_EXPANSION_MODE="AIV"
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

vllm serve your_model_path \
    --host <host_ip> \
    --port <port> \
    --served-model-name qwen3 \
    --trust-remote-code \
    --seed 1024 \
    --max-model-len 135000 \
    --max-num-batched-tokens 40960 \
    --tensor-parallel-size 4 \
    --distributed-executor-backend "mp" \
    --no-enable-prefix-caching \
    --speculative-config '{"method": "eagle3", "model":"your_eagle3_model_path", "num_speculative_tokens": 3}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --hf-overrides '{"rope_parameters": {"rope_type":"yarn","rope_theta":1000000,"factor":4,"original_max_position_embeddings":131072}}' \
    --gpu-memory-utilization 0.9 \
    --quantization ascend

低延迟配置：

export HCCL_OP_EXPANSION_MODE="AIV"
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

vllm serve your_model_path \
    --served-model-name qwen3 \
    --trust-remote-code \
    --distributed-executor-backend "mp" \
    --tensor-parallel-size 8 \
    --max-model-len 5500 \
    --max-num-batched-tokens 40960 \
    --no-enable-prefix-caching \
    --quantization ascend \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY","cudagraph_capture_sizes":[1,2,4,8,16,32,64,72,76,80,96,100,120,140,144,160,192,216,240,252,288,320,336,360,384,400,408,416,420,432,480,540,576,600]}' \
    --speculative-config '{"method": "eagle3", "model":"your_eagle3_model_path", "enforce_eager": true, "num_speculative_tokens": 3}' \
    --port <port> \
    --block-size 128 \
    --gpu-memory-utilization 0.9

9.2 调优指南

9.2.1 通用调优参考

请参阅公共性能调优文档了解调优方法。 请参阅功能矩阵了解详细的功能描述。

10 常见问题

对于常见的环境、安装和一般参数问题，请参阅 公共常见问题解答。本节仅涵盖 Qwen3 Dense 模型特有的问题。