Qwen3-ASR-1.7B¶

简介¶

发布的Qwen3-ASR-1.7B是Qwen团队开发的轻量级高性能自动语音识别(ASR)模型。它在中英文多场景语音、中文方言、多语言及歌唱场景中提供行业领先的识别精度，原生支持长音频和流式推理，并针对Ascend NPU硬件进行了深度优化。

本文档将展示该模型的主要验证步骤，包括支持特性、特性配置、环境准备、单节点部署、精度和性能评估。

环境准备¶

模型权重¶

Qwen3-ASR-1.7B(BF16版本)：需要1个Ascend 910B（1 x 64G NPU）。[下载模型权重Qwen3-ASR-1.7B

](https://modelscope.cn/models/Qwen/Qwen3-ASR-1.7B)(BF16 version): requires 1 Ascend 310P (with 1 x 48G NPUs). [Download model weight/root/.cache/.

建议将模型权重下载到多节点共享目录，例如Qwen3-ASR-1.7B。

安装¶

vllm-ascend在Qwen3-ASR-1.7B中得到支持。

您可以直接使用我们的官方docker镜像运行```bash export IMAGE=quay.io/ascend/vllm-ascend:v0.22.1rc1 docker run --rm \ --name vllm-ascend \ --shm-size=1g \ --device /dev/davinci0 \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /root/.cache:/root/.cache \ -v /data/vllm-workspace/models:/data/vllm-workspace/models \ -p 8000:8000 \ -it $IMAGE bash

此外，如果您不想像上面那样使用docker镜像，也可以从源码构建所有内容：

- 从源码安装`vllm-ascend`，请参考[安装](../../installation.md)。

## 部署

### Atlas 300I A2 2UP

```shell
vllm serve "Qwen/Qwen3-ASR-1.7B" \
  --tensor-parallel-size 1 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.9 \
  --enforce-eager \
  --port 8000

Atlas 300I DUO¶

vllm serve "Qwen/Qwen3-ASR-1.7B" \
  --tensor-parallel-size 1 \
  --gpu_memory_utilization 0.9 \
  --dtype float16 \
  --max_model_len 4096 \
  --additional-config '{"ascend_compilation_config": {"fuse_norm_quant": false}}' \
  --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1,4]}' \
  --port 8000

功能验证¶

服务器启动后，您可以使用输入提示词查询模型：

curl http://localhost:8000/v1/chat/completions
    -H "Content-Type: application/json"
    -d '{
    "messages": [
    {"role": "user", "content": [
        {"type": "audio_url",
        "audio_url":
        {"url": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav"}}
    ]}
    ]
}'

精度评估¶

处理完所有样本后，使用以下指标衡量转录质量：

WER（词错误率）用于词级识别精度
CER（字符错误率）用于字符级识别精度

备注¶

该结果反映了端到端服务性能，包括音频预处理、请求构建、API通信、推理和响应解析。实际性能可能因硬件、并发数、音频长度和部署配置而异。

建议进一步对延迟分布、并发吞吐量、长音频场景和系统资源利用率进行基准测试。