DeepSeek-OCR-2

DeepSeek-OCR-2#

简介#

DeepSeekOCR2是一个从以LLM为中心的视角研究视觉编码器作用的模型。

DeepSeek-OCR-2模型在vllm-ascend:v0.16.0版本中首次获得支持，并可在v0.16.0及更高版本中稳定运行。

本文档将展示该模型的主要验证步骤，包括支持特性、特性配置、环境准备、单节点部署、精度评估和性能评估。

支持特性#

请参考支持特性获取模型的支持特性矩阵。

请参考特性指南获取特性的配置说明。

环境准备#

模型权重#

建议将模型权重下载到多节点的共享目录中，例如/root/.cache/。

验证多节点通信（可选）#

如果要部署多节点环境，需要按照验证多节点通信环境的说明验证多节点通信。

安装#

您可以直接使用官方Docker镜像运行DeepSeek-OCR-2。

根据机器类型选择镜像并在节点上启动Docker容器，请参考使用Docker。

# Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
# Update the vllm-ascend image according to your environment.
# Note you should download the weight to /root/.cache in advance.
# Update the vllm-ascend image
export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.18.0
export NAME=vllm-ascend

# Run the container using the defined variables
# Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance.
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash

如果要部署多节点环境，需要在每个节点上进行环境配置。

部署#

单节点部署#

  • DeepSeek-OCR-2可以部署在1台Atlas 800 A2上。

运行以下脚本执行在线推理。

#!/bin/sh

export VLLM_USE_V1=1
export VLLM_ASCEND_ENABLE_NZ=0
export TOKENIZERS_PARALLELISM=false
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export TASK_QUEUE_ENABLE=1
export TOKENIZERS_PARALLELISM=false

vllm serve /root/.cache/DeepSeek-OCR-2 \
    --served-model-name deepseekocr2 \
    --trust-remote-code \
    --tensor-parallel-size 1  \
    --port 1055 \
    --max-model-len 8192 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.8 \
    --allowed-local-media-path / \
    --async-scheduling \
    --additional-config '{
      "enable_cpu_binding": true,
      "multistream_overlap_shared_expert": true,
      "ascend_compilation_config": {"fuse_qknorm_rope": false}
    }' \
    --mm-processor-cache-gb 0

**注意：**参数说明如下：

  • --max-model-len指定最大上下文长度，即单个请求的输入和输出token之和。

  • --no-enable-prefix-caching表示禁用前缀缓存。要启用它，请移除该选项。

  • --gpu-memory-utilization表示vLLM将用于实际推理的HBM比例。其核心功能是计算可用的kv_cache大小。在预热阶段（vLLM中称为profile run），vLLM记录输入大小为--max-num-batched-tokens的推理过程中的峰值GPU内存使用量。可用kv_cache大小计算方式为：--gpu-memory-utilization * HBM大小 - 峰值GPU内存使用量。因此，--gpu-memory-utilization的值越大，可使用的kv_cache就越多。但由于预热阶段的GPU内存使用可能与实际推理阶段不同（例如由于EP负载不均衡），将--gpu-memory-utilization设置过高可能导致实际推理时出现OOM（内存不足）问题。默认值为0.9。

  • --async-scheduling异步调度是一种用于优化推理效率的技术。它允许非阻塞任务调度以提高并发性和吞吐量，特别是在处理大规模模型时。

多节点部署#

推荐使用单节点部署。

预填充-解码分离#

我们不需要进行预填充-解码分离

功能验证#

如果服务启动成功，您将看到如下信息：

INFO:     Started server process [87471]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

服务器启动后，您可以使用输入提示词查询模型：

curl http://<node0_ip>:<port>/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseekocr2",
        "prompt": "The future of AI is",
        "max_completion_tokens": 50,
        "temperature": 0
    }'

精度评估#

以下是精度评估方法。

使用AISBench#

  1. 详情请参考使用AISBench。

  2. 执行后可获取结果，以下为DeepSeek-OCR-2的结果，仅供参考。

数据集

版本

指标

模式

vllm-api-general-chat

备注

textvqa

-

准确率

生成

50.28

1台Atlas 800 A2

ominidocbench

-

准确率

生成

66.86

1台Atlas 800 A2

性能#

使用AISBench#

详情请参考使用AISBench进行性能评估。

性能结果如下：

硬件：A2-313T，1节点

输入/输出：1080P/256

性能：TTFT = 2s，TPOT = 200ms，每张卡平均性能为864 TPS（每秒Token数）。

最佳实践#

本章节推荐最佳实践。有关最佳实践的详细信息，请参见"单节点部署"章节。

常见问题#

  • 问：启动失败，提示HCCL端口冲突（地址已绑定）。该如何处理？

    答：清理旧进程并重启：pkill -f vLLM*。

  • 问：如何处理OOM或启动不稳定问题？

    答：首先减小--max-num-seqs和--max-model-len。如有必要，降低并发数和压测压力（例如max-concurrency/num-prompts）。