Qwen3-Next

Qwen3-Next#

简介#

Qwen3-Next 模型是一个具有高稀疏性的稀疏 MoE（混合专家）模型。与 Qwen3 的 MoE 架构相比，它在混合注意力机制（hybrid attention）和多 Token 预测（multi-token prediction）机制等方面引入了关键改进，增强了模型在长上下文和大参数规模下的训练与推理效率。

本文档将介绍该模型的核心验证步骤，包括支持的功能、环境准备以及精度和性能评估。Qwen3 Next 目前使用的是处于实验阶段的 Triton Ascend。在后续版本中，其稳定性、准确度及性能表现可能会有所变化，性能也将持续优化。

Qwen3-Next 模型最早在 vllm-ascend:v0.10.2rc1 版本中得到支持。

支持的功能#

请参考 支持功能列表 以获取该模型支持的功能矩阵。

请参考 功能指南 以获取功能的配置方式。

权重准备#

Qwen3-Next-80B-A3B-Instruct 模型权重下载链接：下载模型权重

部署#

如果机器环境是 Atlas 800I A3 (64G*16)，其部署方式保持一致。

运行 Docker 容器#

# Update the vllm-ascend image
# For Atlas A2 machines:
# export IMAGE=quay.io/ascend/vllm-ascend:v0.13.0
# For Atlas A3 machines:
export IMAGE=quay.io/ascend/vllm-ascend:v0.13.0-a3
docker run --rm \
--shm-size=1g \
--name vllm-ascend-qwen3 \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-p 8000:8000 \
-it $IMAGE bash

Qwen3 Next 使用了目前处于实验阶段的 Triton Ascend。在未来版本中，其稳定性、准确性以及性能改进相关的表现可能会发生变化。

推理#

运行以下脚本以在多 NPU 上启动 vLLM 服务器：

vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct --tensor-parallel-size 4 --max-model-len 32768 --gpu-memory-utilization 0.8 --max-num-batched-tokens 4096 --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}'

服务器启动后，您可以使用输入提示词查询模型。

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "Qwen/Qwen3-Next-80B-A3B-Instruct",
  "messages": [
    {"role": "user", "content": "Who are you?"}
  ],
  "temperature": 0.6,
  "top_p": 0.95,
  "top_k": 20,
  "max_tokens": 32
}'

运行以下脚本以在多 NPU 上执行离线推理：

import gc
import torch

from vllm import LLM, SamplingParams
from vllm.distributed.parallel_state import (destroy_distributed_environment,
                                             destroy_model_parallel)

def clean_up():
    destroy_model_parallel()
    destroy_distributed_environment()
    gc.collect()
    torch.npu.empty_cache()

if __name__ == '__main__':
    prompts = [
        "Who are you?",
    ]
    sampling_params = SamplingParams(temperature=0.6, top_p=0.95, top_k=40, max_tokens=32)
    llm = LLM(model="Qwen/Qwen3-Next-80B-A3B-Instruct",
              tensor_parallel_size=4,
              enforce_eager=True,
              distributed_executor_backend="mp",
              gpu_memory_utilization=0.7,
              max_model_len=4096)

    outputs = llm.generate(prompts, sampling_params)
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

    del llm
    clean_up()

如果您成功运行此脚本，可以看到如下信息：

Prompt: 'Who are you?', Generated text: ' What do you know about me?\n\nHello! I am Qwen, a large-scale language model independently developed by the Tongyi Lab under Alibaba Group. I am'

精度评估#

使用 AISBench#

  1. 详见 使用 AISBench。

  2. 执行后可获取结果，以下为 vllm-ascend:0.13.0rc1 下 Qwen3-Next-80B-A3B-Instruct 的测试结果，仅供参考。

数据集

版本

指标

模式

vllm-api-general-chat

gsm8k

-

准确率

生成

95.53

性能#

使用 AISBench#

详见 使用 AISBench 进行性能评估。

使用 vLLM 基准测试 (Benchmark)#

以 Qwen3-Next 的性能评估为例。

更多细节请参考 vLLM Benchmark。

共有三个 vllm bench 子命令：

  • latency：测试单批次请求的延迟。

  • serve：测试在线服务的吞吐量。

  • throughput：测试离线推理的吞吐量。

以 serve 模式为例，运行如下代码。

export VLLM_USE_MODELSCOPE=true
vllm bench serve --model Qwen/Qwen3-Next-80B-A3B-Instruct  --dataset-name random --random-input 200 --num-prompt 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您即可获得性能评估结果。

性能结果如下：

硬件: A3-752T，2 节点

部署: TP4 + Full Decode Only

输入/输出: 2k/2k

并发量: 32

性能: 580tps, TPOT 54ms