Qwen3-Coder-30B-A3B

Qwen3-Coder-30B-A3B#

简介#

新发布的 Qwen3-Coder-30B-A3B 采用稀疏 MoE 架构以实现高效的训练和推理，在智能体编码、长达 100 万 token 的扩展上下文支持以及多功能函数调用方面提供了显著的优化。

本文档将展示模型的主要验证步骤，包括支持的特性、特性配置、环境准备、单节点部署、精度评估和性能评估。

支持的特性#

请参阅支持的特性矩阵获取模型支持的特性列表。

请参阅特性指南获取特性的配置方法。

环境准备#

模型权重#

Qwen3-Coder-30B-A3B-Instruct（BF16 版本）：需要 1 个 Atlas 800 A3 节点（16 个 64G NPU）或 1 个 Atlas 800 A2 节点（8 个 64G/32G NPU）。下载模型权重

建议将模型权重下载到多节点共享目录，例如 /root/.cache/

安装#

Qwen3-Coder 从 vllm-ascend:v0.10.0rc1 版本开始支持，请使用更高版本运行此模型。

您可以使用官方 Docker 镜像直接运行 Qwen3-Coder-30B-A3B-Instruct。

# Update the vllm-ascend image
export IMAGE=quay.io/ascend/vllm-ascend:v0.11.0rc1
docker run --rm \
--name vllm-ascend \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-p 8000:8000 \
-it $IMAGE bash

此外，如果您不想使用上述 Docker 镜像，也可以从源码构建：

部署#

单节点部署#

运行以下脚本执行在线推理。

对于 Atlas A2，如果 NPU 卡内存为 64 GB，tensor-parallel-size 至少应为 2；如果内存为 32 GB，tensor-parallel-size 至少应为 4。

#!/bin/sh
export VLLM_USE_MODELSCOPE=True

vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct --served-model-name qwen3-coder --tensor-parallel-size 4 --enable_expert_parallel

功能验证#

服务器启动后，您可以使用输入提示词查询模型：

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "qwen3-coder",
  "messages": [
    {"role": "user", "content": "Give me a short introduction to large language models."}
  ],
  "temperature": 0.6,
  "top_p": 0.95,
  "top_k": 20,
  "max_completion_tokens": 4096
}'

精度评估#

使用 AISBench#

  1. 详细信息请参考使用 AISBench 进行精度评估。

  2. 执行后即可获得结果，以下是 Qwen3-Coder-30B-A3B-Instruct 在 vllm-ascend:0.11.0rc0 上的结果，仅供参考。

数据集

版本

指标

模式

vllm-api-general-chat

openai_humaneval

f4a973

humaneval_pass@1

生成

94.51

性能#

使用 AISBench#

详细信息请参考使用 AISBench 进行性能评估。