Qwen3-ASR-1.7B¶

简介¶

发布的Qwen3-ASR-1.7B是由Qwen团队开发的轻量级高性能自动语音识别（ASR）模型。它在中英文多场景语音、中文方言、多语言及唱歌场景中均提供行业领先的识别精度，原生支持长音频和流式推理，并针对Ascend NPU硬件进行了深度优化。

本文档将展示该模型的主要验证步骤，包括支持特性、特性配置、环境准备、单节点部署、精度和性能评估。

环境准备¶

模型权重¶

Qwen3-ASR-1.7B（BF16版本）：需要1个Ascend 910B（配备1 x 64G NPU）。

Qwen3-ASR-1.7B（BF16版本）：需要1个Ascend 310P（配备1 x 48G NPU）。下载模型权重。

建议将模型权重下载到多节点共享目录，例如 /root/.cache/。

安装¶

Qwen3-ASR-1.7B 支持 vllm-ascend。

您可以直接使用我们的官方Docker镜像运行 Qwen3-ASR-1.7B。

export IMAGE=quay.io/ascend/vllm-ascend:v0.22.1rc1
docker run --rm \
  --name vllm-ascend \
  --shm-size=1g \
  --device /dev/davinci0 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
  -v /etc/ascend_install.info:/etc/ascend_install.info \
  -v /root/.cache:/root/.cache \
  -v /data/vllm-workspace/models:/data/vllm-workspace/models \
  -p 8000:8000 \
  -it $IMAGE bash

此外，如果您不想使用上述Docker镜像，也可以从源码构建所有内容：

从源码安装 vllm-ascend，请参考安装。

部署¶

Atlas 300I A2 2UP¶

vllm serve "Qwen/Qwen3-ASR-1.7B" \
  --tensor-parallel-size 1 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.9 \
  --enforce-eager \
  --port 8000

Atlas 300I DUO¶

vllm serve "Qwen/Qwen3-ASR-1.7B" \
  --tensor-parallel-size 1 \
  --gpu_memory_utilization 0.9 \
  --dtype float16 \
  --max_model_len 4096 \
  --additional-config '{"ascend_compilation_config": {"fuse_norm_quant": false}}' \
  --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1,4]}' \
  --port 8000

功能验证¶

服务器启动后，您可以使用输入提示查询模型：

curl http://localhost:8000/v1/chat/completions
    -H "Content-Type: application/json"
    -d '{
    "messages": [
    {"role": "user", "content": [
        {"type": "audio_url",
        "audio_url":
        {"url": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav"}}
    ]}
    ]
}'

精度评估¶

处理完所有样本后，使用以下指标衡量转录质量：

WER（词错误率）用于词级识别精度
CER（字符错误率）用于字符级识别精度

备注¶

该结果反映了端到端服务性能，包括音频预处理、请求构建、API通信、推理和响应解析。实际性能可能因硬件、并发数、音频长度和部署配置而异。

建议进一步对延迟分布、并发吞吐量、长音频场景和系统资源利用率进行基准测试。