DeepSeek-R1

1 引言

DeepSeek-R1 是 DeepSeek 公司开发的高性能混合专家（MoE）大语言模型。它在复杂逻辑推理、数学问题求解和代码生成方面表现出色。通过动态激活专家网络，它在保持计算效率的同时提供了卓越的性能。DeepSeek-R1-W8A8 是基于 R1 的全量化版本，对权重和激活均采用 8 位整数（INT8）量化，显著降低了模型的内存占用和计算需求，从而在资源受限的环境中实现更高效的部署和应用。 本文以 DeepSeek-R1-W8A8 版本为例，介绍 R1 系列模型的部署。

本文档将展示模型的主要验证步骤，包括支持特性、特性配置、环境准备、单节点和多节点部署、精度及性能评估。

本文档基于 vLLM-Ascend v0.13.0 进行验证和编写。当前模型（DeepSeek-R1）在该版本中首次获得支持。

2 支持特性

请参考支持特性获取模型的支持特性矩阵。

请参考特性指南获取特性的配置方法。

3 前提条件

3.1 模型权重

• DeepSeek-R1-W8A8（量化版本）：需要 1 个 Atlas 800 A3（64G × 16）节点或 2 个 Atlas 800 A2（64G × 8）节点。下载模型权重

建议将模型权重下载到多节点的共享目录中。

3.2 验证多节点通信（可选）

如需部署多节点环境，需要按照验证多节点通信环境的说明验证多节点通信。

4 安装

4.1 Docker 镜像安装

您可以直接使用官方 Docker 镜像运行 DeepSeek-R1-W8A8。

根据您的机器类型选择镜像，并在节点上启动 Docker 镜像，请参考使用 Docker。

A3 系列A2 系列

在每个节点上启动 Docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:|vllm_ascend_version|-a3
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

在每个节点上启动 Docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:|vllm_ascend_version|
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

Docker 运行成功后，可以通过执行 docker ps 命令验证正在运行的容器服务。

4.2 源码安装

如果您不想使用上述 Docker 镜像，也可以从源码构建所有内容：

• 从源码安装 vllm-ascend，请参考安装。

如需部署多节点环境，需要在每个节点上配置环境。

5 在线服务部署

5.1 单节点在线部署

单节点部署在同一节点内完成 Prefill 和 Decode。量化模型 DeepSeek-R1-W8A8 可部署在 1 个 Atlas 800 A3（64G × 16）或 2 个 Atlas 800 A2（64G × 8）上。

启动命令：

#!/bin/sh

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxxx"
local_ip="xxxx"

# AIV
export HCCL_OP_EXPANSION_MODE="AIV"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_ASCEND_BALANCE_SCHEDULING=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

vllm serve vllm-ascend/DeepSeek-R1-W8A8 \
  --host 0.0.0.0 \
  --port 8000 \
  --data-parallel-size 4 \
  --tensor-parallel-size 4 \
  --quantization ascend \
  --seed 1024 \
  --served-model-name deepseek_r1 \
  --enable-expert-parallel \
  --max-num-seqs 16 \
  --max-model-len 16384 \
  --max-num-batched-tokens 4096 \
  --trust-remote-code \
  --gpu-memory-utilization 0.92 \
  --speculative-config '{"num_speculative_tokens":3,"method":"mtp"}' \
  --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}'

关键参数说明：

• 设置环境变量 VLLM_ASCEND_BALANCE_SCHEDULING=1 可启用均衡调度。这有助于在 v1 调度器中提高输出吞吐量并降低 TPOT。但在某些场景下，TTFT 可能会变差。此外，在 PD 分离的场景下不建议启用此特性。
• 对于单节点部署，建议使用 dp4tp4 而非 dp2tp8。
• --max-model-len 指定最大上下文长度，即单个请求的输入和输出 token 之和。对于输入长度 3.5K、输出长度 1.5K 的性能测试，设置为 16384 即可；但对于精度测试，请至少设置为 35000。
• --no-enable-prefix-caching 表示禁用前缀缓存。如需启用，请移除该选项。
• 如果使用 w4a8 权重，将分配更多内存给 kvcache，您可以尝试提高系统吞吐量以获得更大的吞吐。

常见问题提示：如果遇到问题，请参考公共 FAQ 进行故障排除。

服务验证：

curl http://<node_ip>:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek_r1",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果：

服务返回 HTTP 200 OK，JSON 响应中包含 choices 字段。示例输出：

{
    "id": "chatcmpl-xxxxxxxxxxxxx",
    "object": "chat.completion",
    "model": "deepseek_r1",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "<think>\nOkay, the user wrote \"The future of AI is...",
                "finish_reason": "length"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 8,
        "total_tokens": 1032,
        "completion_tokens": 1024
    }
}

5.2 多节点数据并行部署

分别在两个节点上运行以下脚本。

节点 0节点 1

启动命令：

#!/bin/sh

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxxx"
local_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=200
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_BALANCE_SCHEDULING=1
export HCCL_INTRA_PCIE_ENABLE=1
export HCCL_INTRA_ROCE_ENABLE=0

vllm serve vllm-ascend/DeepSeek-R1-W8A8 \
--host 0.0.0.0 \
--port 8000 \
--data-parallel-size 4 \
--data-parallel-size-local 2 \
--data-parallel-address $local_ip \
--data-parallel-rpc-port 13389 \
--tensor-parallel-size 4 \
--quantization ascend \
--seed 1024 \
--served-model-name deepseek_r1 \
--enable-expert-parallel \
--max-num-seqs 16 \
--max-model-len 16384 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.92 \
--speculative-config '{"num_speculative_tokens":3,"method":"mtp"}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}'

启动命令：

#!/bin/sh

# this is obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxxx"
local_ip="xxxx"
node0_ip="xxxx" # same as the local_IP address in node 0

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=200
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_BALANCE_SCHEDULING=1
export HCCL_INTRA_PCIE_ENABLE=1
export HCCL_INTRA_ROCE_ENABLE=0

vllm serve vllm-ascend/DeepSeek-R1-W8A8 \
--host 0.0.0.0 \
--port 8000 \
--headless \
--data-parallel-size 4 \
--data-parallel-size-local 2 \
--data-parallel-start-rank 2 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 13389 \
--tensor-parallel-size 4 \
--quantization ascend \
--seed 1024 \
--served-model-name deepseek_r1 \
--enable-expert-parallel \
--max-num-seqs 16 \
--max-model-len 16384 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.92 \
--speculative-config '{"num_speculative_tokens":3,"method":"mtp"}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}'

关键参数说明：

• --data-parallel-size：所有节点上的数据并行总秩数。在此示例中，4 表示模型总共分布在 4 个 DP 秩上（每个节点 2 个）。
• --data-parallel-size-local：当前节点上运行的数据并行秩数。在此示例中，每个节点运行 2 个 DP 秩。
• --data-parallel-start-rank：此节点上数据并行秩的起始秩偏移量。节点 0 从秩 0 开始（默认），节点 1 从秩 2 开始。这确保了每个节点的 DP 秩在整体秩空间中占据不同的位置。
• --data-parallel-address：数据并行主节点（节点 0）的 IP 地址。此值必须与节点 0 上设置的 local_ip 一致。
• --data-parallel-rpc-port：数据并行主节点通信的 RPC 端口。所有节点必须相同。
• --headless：表示此 vLLM 实例不是主服务节点。仅在非主节点（节点 1）上设置。主节点（节点 0）不应设置此标志。
• 对于单节点部署，我们建议使用 dp4 tp4 而不是 dp2 tp8。

常见问题提示：如果遇到问题，请参考公共 FAQ 进行故障排除。

服务验证：

curl http://<node_ip>:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek_r1",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果：

服务返回 HTTP 200 OK。JSON 响应包含 choices 字段，其中包含生成的文本。

5.3 多节点 PD 分离部署

我们建议使用 DeepSeek-V3.1 进行部署：DeepSeek-V3.1。

该解决方案已通过测试，并展现出卓越的性能。

6 功能验证

服务器启动后，您可以使用输入提示查询模型：

curl http://<node0_ip>:<port>/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek_r1",
        "prompt": "The future of AI is",
        "max_completion_tokens": 50,
        "temperature": 0
    }'

7 精度评估

以下是两种精度评估方法。

使用 AISBench

1. 有关详细信息，请参阅使用 AISBench。

2. 执行后，您可以获得结果，以下是 DeepSeek-R1-W8A8 中 vllm-ascend:0.13.0 的结果，仅供参考。

   数据集	版本	指标	模式	vllm-api-general-chat
   aime2024dataset	-	accuracy	gen	80.00
   gpqadataset	-	accuracy	gen	72.22

使用语言模型评估工具

例如，以 gsm8k 数据集作为测试数据集，以在线模式运行 DeepSeek-R1-W8A8 的精度评估。

1. 有关 ](../../developer_guide/evaluation/using_lm_eval.md) 的安装，请参阅[使用 lm_evallm_eval。

2. 运行 lm_eval 执行精度评估。

   lm_eval \
     --model local-completions \
     --model_args model=path/DeepSeek-R1-W8A8,base_url=http://<node0_ip>:<port>/v1/completions,tokenized_requests=False,trust_remote_code=True \
     --tasks gsm8k \
     --output_path ./
   

3. 执行后，您可以获得结果。

8 性能评估

使用 AISBench

有关详细信息，请参阅使用 AISBench 进行性能评估。

使用 vLLM 基准测试

以运行 DeepSeek-R1-W8A8 的性能评估为例。

有关更多详细信息，请参阅 vllm 基准测试。

有三个 vllm bench 子命令：

• latency：对单批请求的延迟进行基准测试。
• serve：对在线服务吞吐量进行基准测试。
• throughput：对离线推理吞吐量进行基准测试。

以 serve 为例。按如下方式运行代码。

vllm bench serve --model path/DeepSeek-R1-W8A8  --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您可以获得性能评估结果。

9 性能调优

我们建议使用 DeepSeek-V3.1 进行部署：DeepSeek-V3.1。

该解决方案已通过测试，并展现出卓越的性能。

10 常见问题

有关常见环境、安装和通用参数问题，请参阅公共 FAQ。