DeepSeek-OCR-2¶

1 简介¶

DeepSeekOCR2 是一个从以LLM为中心的视角研究视觉编码器作用的模型。

DeepSeek-OCR-2 模型在 vllm-ascend:v0.16.0 中首次获得支持，并可在 v0.16.0 及更高版本中稳定运行。

本文档将展示该模型的主要验证步骤，包括支持特性、特性配置、环境准备、单节点部署、精度和性能评估。

2 支持的特性¶

请参考支持特性列表获取模型的支持特性矩阵。

请参考特性指南获取特性的配置。

3 前提条件¶

3.1 模型权重¶

DeepSeek-OCR-2：下载模型权重。

建议将模型权重下载到多节点的共享目录中，例如 /root/.cache/。

3.2 验证多节点通信¶

如果要部署多节点环境，需要按照验证多节点通信环境中的说明验证多节点通信。

4 安装¶

4.1 Docker 镜像安装¶

您可以使用我们的官方 Docker 镜像直接运行 DeepSeek-OCR-2。

根据您的机器类型选择镜像，并在节点上启动 Docker 镜像，请参考使用 Docker。

A2 系列A3 系列

export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.22.1rc1
export NAME=vllm-ascend

# Run the container using the defined variables
# Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance.
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash

export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.22.1rc1
export NAME=vllm-ascend

# Run the container using the defined variables
# Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance.
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci8 \
--device /dev/davinci9 \
--device /dev/davinci10 \
--device /dev/davinci11 \
--device /dev/davinci12 \
--device /dev/davinci13 \
--device /dev/davinci14 \
--device /dev/davinci15 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash

如果要部署多节点环境，需要在每个节点上设置环境。

5 在线服务部署¶

5.1 单节点在线部署¶

DeepSeek-OCR-2 可以部署在 1 台 Atlas 800 A2 上。

运行以下脚本执行在线推理。

#!/bin/sh

export VLLM_USE_V1=1
export VLLM_ASCEND_ENABLE_NZ=0
export TOKENIZERS_PARALLELISM=false
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export TASK_QUEUE_ENABLE=1
export TOKENIZERS_PARALLELISM=false

vllm serve /root/.cache/DeepSeek-OCR-2 \
    --served-model-name deepseekocr2 \
    --trust-remote-code \
    --tensor-parallel-size 1  \
    --port 1055 \
    --max_model_len 8192 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.8 \
    --allowed-local-media-path / \
    --additional-config '{
      "enable_cpu_binding": true,
      "multistream_overlap_shared_expert": true,
      "ascend_compilation_config": {"fuse_qknorm_rope": false}
    }' \
    --mm-processor-cache-gb 0

注意： 参数说明如下：

--max-model-len 指定最大上下文长度，即单个请求的输入和输出 token 之和。
--no-enable-prefix-caching 表示禁用前缀缓存。要启用它，请移除该选项。
--gpu-memory-utilization 表示 vLLM 将用于实际推理的 HBM 比例。其基本功能是计算可用的 kv_cache 大小。在预热阶段（vLLM 中称为 profile run），vLLM 会记录输入大小为 --max-num-batched-tokens 的推理过程中的峰值 GPU 内存使用量。然后，可用的 kv_cache 大小计算为：--gpu-memory-utilization * HBM 大小 - 峰值 GPU 内存使用量。因此，--gpu-memory-utilization 的值越大，可用的 kv_cache 就越多。但是，由于预热阶段的 GPU 内存使用量可能与实际推理阶段不同（例如，由于 EP 负载不均），将 --gpu-memory-utilization 设置得过高可能会导致实际推理阶段出现 OOM（内存不足）问题。默认值为 0.9。

5.2 多节点部署¶

推荐使用单节点部署。

5.3 预填充-解码分离¶

我们不需要进行预填充-解码分离

6 功能验证¶

如果您的服务启动成功，您将看到如下信息：

INFO:     Started server process [87471]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

服务器启动后，您可以使用输入提示查询模型：

curl http://<node0_ip>:<port>/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseekocr2",
        "prompt": "The future of AI is",
        "max_completion_tokens": 50,
        "temperature": 0
    }'

7 精度评估¶

使用 AISBench¶

有关详细信息，请参考使用 AISBench。
执行后，您可以获得结果，以下是 DeepSeek-OCR-2 的结果，仅供参考。

数据集	版本	指标	模式	vllm-api-general-chat	说明
textvqa	-	accuracy	gen	50.28	1 Atlas 800 A2
ominidocbench	-	accuracy	gen	66.86	1 Atlas 800 A2

8 性能评估¶

使用 AISBench¶

有关详细信息，请参考使用 AISBench 进行性能评估。

性能结果如下：

硬件：A2-313T，1 节点

输入/输出：1080P/256

性能：TTFT = 2s, TPOT = 200ms，每张卡的平均性能为 864 TPS（每秒 Token 数）。

9 性能调优¶

9.1 推荐配置¶

注意：以下配置在特定测试环境中经过验证，仅供参考。最佳配置取决于最大输入/输出长度、前缀缓存命中率、精度要求和部署机器比例等因素。建议参考第 9.2 节根据实际情况进行调优。

表 1：场景概览¶

*Total NPUs 表示所有节点使用的 NPU 总数。1 节点 = 1 台 Atlas 800 A3 服务器（64G × 16 NPU）。

场景	部署模式	*NPU总数	权重版本	关键考量
多模态 (1080P)	单节点混合	16 (A3)	deepseekocr2	dp1 tp1 用于高分辨率视觉输入

9.2 调优指南¶

9.2.1 通用调优参考¶

请参考公共性能调优文档了解调优方法。

请参考功能指南了解详细的功能描述。

10 常见问题¶

关于常见的环境、安装和通用参数问题，请参考公共FAQ。

问：启动失败，HCCL端口冲突（地址已绑定）。我该怎么办？

答：清理旧进程并重启：pkill -f vLLM*。

问：如何处理OOM或不稳定的启动？

答：首先减少--max-num-seqs和--max-model-len。如有必要，降低并发和负载测试压力（例如max-concurrency / num-prompts）。