Qwen3.6-35B-A3B

简介

Qwen3.6-35B-A3B是Qwen3.6系列中的稀疏MoE模型。总参数量为35B，每个token激活约3B参数，采用与Qwen3.5相同的混合注意力架构（GDN+全注意力）。在vLLM Ascend上的部署方式与其他Qwen3.5风格MoE模型一致。

本文档涵盖支持特性、环境配置、单节点部署以及精度/性能评估。

Qwen3.6-35B-A3B模型首次在vllm-ascend:v0.18.0rc1中得到支持。

支持特性

请参考支持特性获取模型的支持特性矩阵。

请参考特性指南获取特性的配置说明。

环境准备

模型权重

• Qwen3.6-35B-A3B(BF16版本)：需要1个Atlas 800 A3（64G × 16）节点或1个Atlas 800 A2（64G × 8）节点。下载模型权重

• Qwen3.6-35B-A3B-w8a8(量化版本)：需要1个Atlas 800 A3（64G × 16）节点或1个Atlas 800 A2（64G × 8）节点。下载模型权重

建议将模型权重下载到/root/.cache/目录。

安装

使用Docker镜像

例如，使用镜像quay.io/ascend/vllm-ascend:v0.18.0rc1（适用于Atlas 800 A2）和quay.io/ascend/vllm-ascend:v0.18.0rc1-a3（适用于Atlas 800 A3）。

根据机器类型选择镜像并在节点上启动Docker容器，请参考使用Docker。

  # Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
  # Update the vllm-ascend image according to your environment.
  # Note you should download the weight to /root/.cache in advance.
  # Update the vllm-ascend image
  export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.18.0
  export NAME=vllm-ascend

  # Run the container using the defined variables
  docker run --rm \
  --name $NAME \
  --net=host \
  --shm-size=1g \
  --device /dev/davinci0 \
  --device /dev/davinci1 \
  --device /dev/davinci2 \
  --device /dev/davinci3 \
  --device /dev/davinci4 \
  --device /dev/davinci5 \
  --device /dev/davinci6 \
  --device /dev/davinci7 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
  -v /etc/ascend_install.info:/etc/ascend_install.info \
  -it $IMAGE bash

从源码构建

您可以从源码完整构建。

• 安装vllm-ascend，请参考使用Python安装。

部署

单节点部署

Qwen3.6-35B-A3B-w8a8可部署在1个Atlas 800 A3（64G × 16）或1个Atlas 800 A2（64G × 8）上。启动时需添加--quantization ascend和--enable-expert-parallel参数。

运行以下脚本在1个Atlas 800 A3（64G × 16）上执行最长262144上下文长度的在线推理。

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=1024
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1

vllm serve Eco-Tech/Qwen3.6-35B-A3B-w8a8 \
--host 0.0.0.0 \
--port 8000 \
--data-parallel-size 1 \
--tensor-parallel-size 2 \
--enable-expert-parallel \
--seed 1024 \
--quantization ascend \
--served-model-name qwen3.6 \
--max-num-seqs 128 \
--max-model-len 262144 \
--max-num-batched-tokens 16384 \
--trust-remote-code \
--gpu-memory-utilization 0.90 \
--enable-prefix-caching \
--speculative_config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--additional-config '{"enable_cpu_binding":true, "multistream_overlap_shared_expert": true}' \
--async-scheduling

注意：

参数说明如下：

• --data-parallel-size 1和--tensor-parallel-size 2是数据并行（DP）和张量并行（TP）大小的常见设置。

• --enable-expert-parallel表示启用专家并行（EP）。注意vLLM不支持ETP和EP的混合方式，即MoE只能使用纯EP或纯TP。

• --max-model-len表示上下文长度，即单个请求的输入加输出的最大值。

• --max-num-seqs表示每个DP组允许处理的最大请求数。如果发送到服务的请求数超过此限制，超出的请求将保持等待状态且不会被调度。注意等待状态的时间也会计入TTFT和TPOT等指标。因此，在测试性能时，通常建议--max-num-seqs * --data-parallel-size >= 实际总并发数。

• --max-num-batched-tokens表示模型单步可处理的最大token数。当前vLLM v1调度默认启用ChunkPrefill/SplitFuse，这意味着：

  • (1)如果请求的输入长度大于--max-num-batched-tokens，将根据--max-num-batched-tokens拆分为多轮计算；

  • (2)解码请求优先调度，仅在有可用容量时才调度预填充请求。

  • 通常，--max-num-batched-tokens设置越大，整体延迟越低，但对GPU内存（激活值使用）的压力越大。

• --gpu-memory-utilization表示vLLM用于实际推理的HBM比例。其核心功能是计算可用kv_cache大小。在预热阶段（vLLM中称为profile run），vLLM记录输入大小为--max-num-batched-tokens的推理过程中的峰值GPU内存使用。可用kv_cache大小计算为：--gpu-memory-utilization * HBM大小 - 峰值GPU内存使用。因此，--gpu-memory-utilization值越大，可使用的kv_cache越多。但由于预热阶段的GPU内存使用可能与实际推理时不同（例如由于EP负载不均），设置过高的--gpu-memory-utilization可能导致实际推理时出现OOM（内存不足）问题。默认值为0.9。

• Qwen3.6模型可启用--enable-prefix-caching。禁用时使用--no-enable-prefix-caching。注意对于长上下文模型，前缀缓存可能需要大量内存。

• --quantization "ascend"表示启用量化。禁用量化时移除该选项。

• --speculative_config使用qwen3_5_mtp，因为Qwen3.6与Qwen3.5共享相同的MTP头设计。

• 建议为MoE模型设置--additional-config "multistream_overlap_shared_expert": true以重叠共享专家计算。

• --compilation-config包含与aclgraph图模式相关的配置。最重要的配置是"cudagraph_mode"和"cudagraph_capture_sizes"，含义如下："cudagraph_mode"：表示具体的图模式。当前支持"PIECEWISE"和"FULL_DECODE_ONLY"。图模式主要用于降低算子调度开销。当前推荐使用"FULL_DECODE_ONLY"。

• "cudagraph_capture_sizes"：表示不同级别的图模式。默认值为[1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]。在图模式下，不同级别的图输入是固定的，级别之间的输入会自动填充到下一级别。当前推荐使用默认设置。仅在部分场景下需要单独设置以达到最优性能。

功能验证

服务器启动后，您可以使用输入提示查询模型：

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3.6",
        "prompt": "The future of AI is",
        "max_completion_tokens": 50,
        "temperature": 0
    }'

精度评估

使用AISBench

1. 详情请参考使用AISBench。

2. 执行后可获取Qwen3.6-35B-A3B-w8a8的精度结果作为参考。

性能

使用AISBench

详情请参考使用AISBench进行性能评估。

使用vLLM Benchmark

以Qwen3.6-35B-A3B-w8a8为例运行性能评估。

更多详情请参考vllm benchmark。

vllm bench包含三个子命令：

• latency：基准测试单批请求的延迟。

• serve：基准测试在线服务吞吐量。

• throughput：基准测试离线推理吞吐量。

以serve为例，运行代码如下。

export VLLM_USE_MODELSCOPE=True
vllm bench serve --model Eco-Tech/Qwen3.6-35B-A3B-w8a8 --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您即可获得性能评估结果。