Qwen3-Coder-30B-A3B

Qwen3-Coder-30B-A3B#

简介#

新发布的 Qwen3-Coder-30B-A3B 采用稀疏 MoE 架构，以实现高效的训练和推理，在智能体编码、高达 1M token 的扩展上下文支持以及多功能调用方面带来了显著优化。

本文档将展示该模型的主要验证步骤，包括支持的功能、功能配置、环境准备、单节点部署、精度和性能评估。

支持的功能#

请参考支持的功能以获取模型支持的功能矩阵。

请参考特性指南以获取功能的配置信息。

环境准备#

模型权重#

Qwen3-Coder-30B-A3B-Instruct（BF16 版本）：需要 1 个 Atlas 800 A3 节点（配备 16 个 64G NPU）或 1 个 Atlas 800 A2 节点（配备 8 个 64G/32G NPU）。下载模型权重

建议将模型权重下载到多节点的共享目录中，例如 /root/.cache/

安装#

Qwen3-Coder 首次在 vllm-ascend:v0.10.0rc1 中得到支持，请使用此版本或更高版本来运行此模型。

您可以使用我们的官方 docker 镜像直接运行 Qwen3-Coder-30B-A3B-Instruct。

# Update the vllm-ascend image
export IMAGE=quay.io/ascend/vllm-ascend:v0.11.0rc1
docker run --rm \
--name vllm-ascend \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-p 8000:8000 \
-it $IMAGE bash

此外，如果您不想使用上述 docker 镜像，也可以从源代码构建所有内容：

部署#

单节点部署#

运行以下脚本来执行在线推理。

对于配备 64 GB NPU 显存的 Atlas A2，张量并行大小应至少为 2；对于 32 GB 显存，张量并行大小应至少为 4。

#!/bin/sh
export VLLM_USE_MODELSCOPE=True

vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct --served-model-name qwen3-coder --tensor-parallel-size 4 --enable_expert_parallel

功能验证#

服务器启动后，您可以使用输入提示词查询模型：

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "qwen3-coder",
  "messages": [
    {"role": "user", "content": "Give me a short introduction to large language models."}
  ],
  "temperature": 0.6,
  "top_p": 0.95,
  "top_k": 20,
  "max_completion_tokens": 4096
}'

精度评估#

使用 AISBench#

  1. 详情请参考使用 AISBench。

  2. 执行后，您可以获得结果。以下是 Qwen3-Coder-30B-A3B-Instruct 在 vllm-ascend:v0.11.0rc0 中的结果，仅供参考。

数据集

版本

指标

模式

vllm-api-general-chat

openai_humaneval

f4a973

humaneval_pass@1

gen

94.51

性能#

使用 AISBench#

详情请参考使用 AISBench 进行性能评估。