Qwen2.5-Omni-7B

Qwen2.5-Omni-7B#

简介#

Qwen2.5-Omni 是一个端到端的多模态模型，旨在感知多种模态，包括文本、图像、音频和视频，同时以流式方式生成文本和自然语音响应。

Qwen2.5-Omni 模型自 vllm-ascend:v0.11.0rc0 版本起获得支持。本文档将展示该模型的主要验证步骤，包括支持的特性、特性配置、环境准备、单NPU和多NPU部署、精度和性能评估。

支持的特性#

请参考支持的特性以获取该模型支持的特性矩阵。

请参考特性指南以获取特性的配置方法。

环境准备#

模型权重#

以下示例默认使用 7B 版本。

安装#

您可以使用我们的官方 docker 镜像直接运行 Qwen2.5-Omni。

根据您的机器类型选择镜像并在节点上启动 docker 镜像，请参考使用 docker。

# Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
# Update the vllm-ascend image according to your environment.
# Note you should download the weight to /root/.cache in advance.
# Update the vllm-ascend image
export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.18.0
export NAME=vllm-ascend
# Run the container using the defined variables
# Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /mnt/sfs_turbo/.cache:/root/.cache \
-it $IMAGE bash

部署#

单节点部署#

单 NPU (Qwen2.5-Omni-7B)#

备注

环境变量 LOCAL_MEDIA_PATH 允许 API 请求从服务器文件系统指定的目录读取本地图像或视频。请注意，这存在安全风险。应仅在受信任的环境中启用。

export VLLM_USE_MODELSCOPE=True
export MODEL_PATH="Qwen/Qwen2.5-Omni-7B"
export LOCAL_MEDIA_PATH=$HOME/.cache/vllm/assets/vllm_public_assets/

vllm serve "${MODEL_PATH}" \
--host 0.0.0.0 \
--port 8000 \
--served-model-name Qwen-Omni \
--allowed-local-media-path ${LOCAL_MEDIA_PATH} \
--trust-remote-code \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--no-enable-prefix-caching

备注

当前 vllm-ascend docker 镜像应包含 vllm[audio] 构建部分，如果您遇到音频不支持的问题，请使用 [audio] 标志重新构建 vllm。

VLLM_TARGET_DEVICE=empty pip install -v ".[audio]"

--allowed-local-media-path 是可选的，仅在需要使用本地媒体文件进行模型推理时设置。

--gpu-memory-utilization 不应手动设置，除非您了解此参数的作用。

多 NPU (Qwen2.5-Omni-7B)#

export VLLM_USE_MODELSCOPE=True
export MODEL_PATH=Qwen/Qwen2.5-Omni-7B
export LOCAL_MEDIA_PATH=$HOME/.cache/vllm/assets/vllm_public_assets/
export DP_SIZE=8

vllm serve ${MODEL_PATH} \
--host 0.0.0.0 \
--port 8000 \
--served-model-name Qwen-Omni \
--allowed-local-media-path ${LOCAL_MEDIA_PATH} \
--trust-remote-code \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--data-parallel-size ${DP_SIZE} \
--no-enable-prefix-caching

对于此 7B 模型，无需设置 --tensor_parallel_size，但如果确实需要张量并行，tp 大小可以是 1/2/4 之一。

预填充-解码分离#

暂不支持。

功能验证#

如果您的服务启动成功，您可以看到如下所示的信息：

INFO:     Started server process [2736]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

一旦您的服务器启动，您可以使用输入提示词查询模型：

curl http://localhost:8000/v1/chat/completions   -H "Content-Type: application/json"   -H "Authorization: Bearer EMPTY"   -d '{
    "model": "Qwen-Omni",
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "What is the text in the illustration?"
          },
          {
            "type": "image_url",
            "image_url": {
              "url": "https://modelscope.oss-cn-beijing.aliyuncs.com/resource/qwen.png"
            }
          }
        ]
      }
    ],
    "max_completion_tokens": 100,
    "temperature": 0.7
  }'

如果您成功查询服务器，您可以看到如下所示的信息（客户端）：

{"id":"chatcmpl-a70a719c12f7445c8204390a8d0d8c97","object":"chat.completion","created":1764056861,"model":"Qwen-Omni","choices":[{"index":0,"message":{"role":"assistant","content":"The text in the illustration is \"TONGYI Qwen\".","refusal":null,"annotations":null,"audio":null,"function_call":null,"tool_calls":[],"reasoning_content":null},"logprobs":null,"finish_reason":"stop","stop_reason":null,"token_ids":null}],"service_tier":null,"system_fingerprint":null,"usage":{"prompt_tokens":73,"total_tokens":88,"completion_tokens":15,"prompt_tokens_details":null},"prompt_logprobs":null,"prompt_token_ids":null,"kv_transfer_params":null}

精度评估#

vllm-ascend 上的 Qwen2.5-Omni 已在 AISBench 上进行了测试。

使用 AISBench#

  1. 详情请参考使用 AISBench。

  2. 执行后，您可以获得结果，以下是 Qwen2.5-Omni-7B 在 vllm-ascend:v0.11.0rc0 上的结果，仅供参考。

数据集

平台

指标

模式

vllm-api-stream-chat

textVQA

A2

精度

gen_base64

83.47

textVQA

A3

精度

gen_base64

84.04

性能评估#

使用 AISBench#

详情请参考使用 AISBench 进行性能评估。

使用 vLLM Benchmark#

以运行 Qwen2.5-Omni-7B 的性能评估为例。

更多详情请参考 vllm benchmark。

vllm bench 有三个子命令：

  • latency：对单批请求的延迟进行基准测试。

  • serve：对在线服务吞吐量进行基准测试。

  • throughput：对离线推理吞吐量进行基准测试。

以 serve 为例。按如下方式运行代码。

vllm bench serve --model Qwen/Qwen2.5-Omni-7B --dataset-name random --random-input 1024 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您就可以获得性能评估结果。