Kimi-K2.5¶

1 简介¶

Kimi K2.5 是一个开源的、原生的多模态智能体模型，通过在 Kimi-K2-Base 基础上对约 15 万亿混合视觉和文本 token 进行持续预训练构建而成。它无缝集成了视觉与语言理解能力，并具备高级智能体能力、即时与思考模式，以及对话与智能体范式。

本文档将展示该模型的主要验证步骤，包括支持的特性、特性配置、环境准备、单节点与多节点部署、精度与性能评估。

本文档基于 vLLM-Ascend v0.17.0rc1 进行验证和编写。当前模型（Kimi-K2.5）在此版本中首次获得支持，v0.17.0rc1 及更高版本 可稳定运行。

2 支持的特性¶

请参阅支持特性列表以获取模型的支持特性矩阵。

请参阅特性指南以获取特性的配置。

3 前提条件¶

3.1 模型权重¶

权重版本	硬件要求	下载链接
`Kimi-K2.5-w4a8`（w4a8 量化版本）	1 个 Atlas 800 A3（64GB × 16）节点或 2 个 Atlas 800 A2（64GB × 8）节点	ModelScope
`kimi-k2.5-eagle3`（用于加速 Kimi-K2.5 推理的 Eagle3 MTP 草稿模型）		Hugging Face

建议将模型权重下载到多节点共享目录中，例如 /root/.cache/。

路径说明：将模型权重下载到您选择的目录并记录该目录。确保后续部署命令中的模型路径与该目录一致。

3.2 验证多节点通信（可选）¶

如果您想部署多节点环境，需要根据验证多节点通信环境来验证多节点通信。

4 安装¶

4.1 Docker 镜像安装¶

根据您的机器类型选择镜像，并在您的节点上启动docker镜像，请参考使用docker。

A3 系列A2 系列

在每个节点上启动docker镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a3
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

在每个节点上启动docker镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

docker 运行成功后，可以通过执行 docker ps 命令验证正在运行的容器服务。

4.2 源码安装¶

如果不想使用上述 docker 镜像，也可以从源码构建所有内容：

从源码安装vllm-ascend，请参考安装。

如果要部署多节点环境，需要在每个节点上进行环境配置。

5 在线服务部署¶

5.1 单节点在线部署¶

单节点部署在同一节点内完成Prefill和Decode。量化模型Kimi-K2.5-w4a8可部署在1个Atlas 800 A3（64GB × 16）上。

运行以下脚本执行在线推理。

启动命令：

#!/bin/sh
# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl -w kernel.sched_migration_cost_ns=50000
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

export HCCL_BUFFSIZE=800
# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.5-w4a8 --additional-config '{"scheduler_config":{"enable_balance_scheduling":true},"enable_mlapo":true}' \
  --host 0.0.0.0 \
  --port 8088 \
  --quantization ascend \
  --served-model-name kimi_k25 \
  --allowed-local-media-path / \
  --trust-remote-code \
  --no-enable-prefix-caching \
  --seed 1024 \
  --tensor-parallel-size 4 \
  --data-parallel-size 4 \
  --enable-expert-parallel \
  --max-num-seqs 64 \
  --max-model-len 32768 \
  --max-num-batched-tokens 16384 \
  --gpu-memory-utilization 0.9 \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --speculative-config '{"method":"eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k2 \
  --reasoning-parser kimi_k2

关键参数说明：

设置additional_config.scheduler_config.enable_balance_scheduling=true可启用平衡调度。这可能有助于提高v1调度器中的输出吞吐量并减少TPOT。然而，在某些场景下TTFT可能会变差。此外，在PD分离的场景下不建议启用此功能。
对于单节点部署，我们建议使用dp4 tp4而不是dp2 tp8。
--max-model-len指定最大上下文长度——即单个请求的输入和输出token之和。对于输入长度为3.5k、输出长度为1.5k的性能测试，16384的值就足够了，但对于精度测试，请至少设置为35000。
--no-enable-prefix-caching表示禁用前缀缓存。要启用它，请移除该选项。
--mm-encoder-tp-mode表示如何使用张量并行（TP）优化多模态编码器推理。如果您想测试多模态输入，我们建议使用data。
如果您使用w4a8权重，将分配更多内存给kvcache，您可以尝试增加系统吞吐量以获得更大的吞吐。

常见问题提示：如果遇到问题，请参考公共FAQ进行故障排除。

服务验证：

curl http://<node_ip>:8088/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "kimi_k25",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果：

服务返回 HTTP 200 OK，JSON 响应中包含 choices 字段。示例输出：

{
    "id": "chatcmpl-xxxxxxxxxxxxx",
    "object": "chat.completion",
    "model": "kimi_k25",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The future of AI is not a destination we are passively approaching...",
                "finish_reason": "length"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 1037,
        "completion_tokens": 1024
    }
}

5.2 多节点数据并行部署¶

Kimi-K2.5-w4a8可以使用数据并行跨多个节点部署。此部署模式至少需要2个Atlas 800 A2（64GB × 8）节点。

分别在两个节点上运行以下脚本。

节点 0节点 1

启动命令：

#!/bin/sh

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxxx"
local_ip="192.xx.xx.1"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_INTRA_PCIE_ENABLE=1
export HCCL_INTRA_ROCE_ENABLE=0

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl -w kernel.sched_migration_cost_ns=50000
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

export HCCL_BUFFSIZE=1024
# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.5-w4a8 --additional-config '{"scheduler_config":{"enable_balance_scheduling":true},"enable_mlapo":true}' \
--host 0.0.0.0 \
--port 8088 \
--quantization ascend \
--served-model-name kimi_k25 \
--allowed-local-media-path / \
--trust-remote-code \
--no-enable-prefix-caching \
--seed 1024 \
--data-parallel-size 4 \
--data-parallel-size-local 2 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 13389 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--max-num-seqs 16 \
--max-model-len 32768 \
--max-num-batched-tokens 16384 \
--gpu-memory-utilization 0.9 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--speculative-config '{"method":"eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens":3}' \
--mm-encoder-tp-mode data \
--enable-auto-tool-choice \
--tool-call-parser kimi_k2 \
--reasoning-parser kimi_k2

启动命令：

#!/bin/sh

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.2"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_INTRA_PCIE_ENABLE=1
export HCCL_INTRA_ROCE_ENABLE=0

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl -w kernel.sched_migration_cost_ns=50000
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

export HCCL_BUFFSIZE=1024
# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.5-w4a8 --additional-config '{"scheduler_config":{"enable_balance_scheduling":true},"enable_mlapo":true}' \
--host 0.0.0.0 \
--port 8088 \
--quantization ascend \
--served-model-name kimi_k25 \
--allowed-local-media-path / \
--trust-remote-code \
--no-enable-prefix-caching \
--seed 1024 \
--headless \
--data-parallel-size 4 \
--data-parallel-size-local 2 \
--data-parallel-start-rank 2 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 13389 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--max-num-seqs 16 \
--max-model-len 32768 \
--max-num-batched-tokens 16384 \
--gpu-memory-utilization 0.9 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--speculative-config '{"method":"eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens":3}' \
--mm-encoder-tp-mode data \
--enable-auto-tool-choice \
--tool-call-parser kimi_k2 \
--reasoning-parser kimi_k2

关键参数说明：

--data-parallel-size：所有节点上数据并行秩的总数。在此示例中，4 表示模型总共分布在 4 个 DP 秩上（每个节点 2 个）。
--data-parallel-size-local：当前节点上运行的数据并行秩数量。在此示例中，每个节点运行 2 个 DP 秩。
--data-parallel-start-rank：当前节点上数据并行秩的起始秩偏移量。节点 0 从秩 0 开始（默认），节点 1 从秩 2 开始。这确保每个节点的 DP 秩在整体秩空间中占据不同的位置。
--data-parallel-address：数据并行主节点（节点 0）的 IP 地址。此值必须与节点 0 上设置的 local_ip 一致。
--data-parallel-rpc-port：数据并行主节点通信的 RPC 端口。所有节点必须相同。
--headless：表示此 vLLM 实例不是主服务节点。仅在非主节点（节点 1）上设置。主节点（节点 0）不应设置此标志。
对于单节点部署，我们建议使用 dp4 tp4 而不是 dp2 tp8。

常见问题提示：如果遇到问题，请参考公共FAQ进行故障排除。

服务验证：

curl http://<node0_ip>:8088/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "kimi_k25",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果：

服务返回 HTTP 200 OK。JSON 响应中包含 choices 字段，其中包含生成的文本。

5.3 多节点 PD 分离部署¶

我们建议使用 Mooncake 进行部署：Mooncake。

在标准单节点部署模式下，Prefill（提示处理）和 Decode（令牌生成）任务在同一组 NPU 上运行。PD（Prefill-Decode）分离通过将 Prefill 和 Decode 运行在专用的节点组上来解决此问题，每个节点组独立配置：

Prefill节点专注于高吞吐量的提示处理，针对计算和通信进行了优化（例如，启用序列并行以加速Allreduce）。
Decode节点专注于低延迟的令牌生成，针对内存带宽进行了优化（例如，启用MLAPO融合算子）。

对于需要同时保证稳定延迟和高吞吐量的并发多用户工作负载的生产部署，建议采用此架构。

以Atlas 800 A3（64GB × 16）为例，我们建议部署2P1D（4个节点）而不是1P1D（2个节点），因为在1P1D情况下没有足够的NPU内存来服务高并发。

Kimi-K2.5-w4a8 2P1D：需要4个Atlas 800 A3（64GB × 16）节点。

要运行 vllm-ascend Prefill-Decode 分离服务，您需要在每个节点上部署 launch_online_dp.py 脚本和 run_dp_template.sh 脚本，并在 prefill 主节点上部署 proxy.sh 脚本以转发请求。

launch_online_dp.py

参数说明：

参数	类型	必填	默认值	描述
`--dp-size`	int	是	-	数据并行大小（所有节点上的DP rank总数）。
`--tp-size`	int	否	1	每个DP rank内部的张量并行大小。
`--dp-size-local`	int	否	(与`--dp-size`相同)	当前节点上的DP rank数量。如果未设置，默认与`--dp-size`相同。
`--dp-rank-start`	int	否	0	此节点上数据并行rank的起始偏移量。
`--dp-address`	str	是	-	数据并行主节点（节点0）的IP地址。
`--dp-rpc-port`	str	否	12345	数据并行主节点通信的RPC端口。
`--vllm-start-port`	int	否	9000	此节点上每个vLLM引擎实例的起始端口。每个DP rank的引擎端口 = `vllm_start_port` + 本地rank索引。

run_dp_template.sh 脚本

节点 0(Prefill)节点 1(Prefill)节点 0(Decode)节点 1(Decode)

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.1"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000

export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

export HCCL_BUFFSIZE=256
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.5-w4a8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --quantization ascend \
    --served-model-name kimi_k25 \
    --trust-remote-code \
    --max-num-seqs 8 \
    --max-model-len 32768 \
    --max-num-batched-tokens 16384 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.8 \
    --enforce-eager \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens": 1}' \
    --additional-config '{"recompute_scheduler_enable":true}' \
    --mm-encoder-tp-mode data \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeConnectorV1",
    "kv_role": "kv_producer",
    "kv_port": "30000",
    "engine_id": "0",
    "kv_connector_extra_config": {
            "prefill": {
                    "dp_size": 2,
                    "tp_size": 8
            },
            "decode": {
                    "dp_size": 32,
                    "tp_size": 1
            }
        }
    }'

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.2"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000

export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

export HCCL_BUFFSIZE=256
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.5-w4a8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --quantization ascend \
    --served-model-name kimi_k25 \
    --trust-remote-code \
    --max-num-seqs 8 \
    --max-model-len 32768 \
    --max-num-batched-tokens 16384 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.8 \
    --enforce-eager \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens": 1}' \
    --additional-config '{"recompute_scheduler_enable":true}' \
    --mm-encoder-tp-mode data \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeConnectorV1",
    "kv_role": "kv_producer",
    "kv_port": "30100",
    "engine_id": "1",
    "kv_connector_extra_config": {
            "prefill": {
                    "dp_size": 2,
                    "tp_size": 8
            },
            "decode": {
                    "dp_size": 32,
                    "tp_size": 1
            }
        }
    }'

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.3"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000

export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

export HCCL_BUFFSIZE=1100
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.5-w4a8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --quantization ascend \
    --served-model-name kimi_k25 \
    --trust-remote-code \
    --max-num-seqs 48 \
    --max-model-len 32768 \
    --max-num-batched-tokens 256 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.95 \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"recompute_scheduler_enable":true,"multistream_overlap_shared_expert":false,"enable_mlapo":true}' \
    --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens": 3}' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeConnectorV1",
    "kv_role": "kv_consumer",
    "kv_port": "30200",
    "engine_id": "2",
    "kv_connector_extra_config": {
            "prefill": {
                    "dp_size": 2,
                    "tp_size": 8
            },
            "decode": {
                    "dp_size": 32,
                    "tp_size": 1
            }
        }
    }'

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="192.xx.xx.4"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl kernel.sched_migration_cost_ns=50000
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000

export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH

export HCCL_BUFFSIZE=1100
export ASCEND_RT_VISIBLE_DEVICES=$1

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.5-w4a8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --quantization ascend \
    --served-model-name kimi_k25 \
    --trust-remote-code \
    --max-num-seqs 48 \
    --max-model-len 32768 \
    --max-num-batched-tokens 256 \
    --no-enable-prefix-caching \
    --gpu-memory-utilization 0.95 \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --additional-config '{"recompute_scheduler_enable":true,"multistream_overlap_shared_expert":false,"enable_mlapo":true}' \
    --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens": 3}' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeConnectorV1",
    "kv_role": "kv_consumer",
    "kv_port": "30200",
    "engine_id": "2",
    "kv_connector_extra_config": {
            "prefill": {
                    "dp_size": 2,
                    "tp_size": 8
            },
            "decode": {
                    "dp_size": 32,
                    "tp_size": 1
            }
        }
    }'

关键参数说明：

additional_config.enable_mlapo=true：启用融合算子，可显著提升性能，但会消耗更多 NPU 内存。在 Prefill-Decode（PD）分离场景下，仅在 decode 节点上启用 MLAPO。
recompute_scheduler_enable: true：启用重计算调度器。当 decode 节点的键值缓存（KV Cache）不足时，请求将被发送到 prefill 节点以重新计算 KV Cache。在 PD 分离场景下，建议同时在 prefill 和 decode 节点上启用此配置。
multistream_overlap_shared_expert: true：当张量并行（TP）大小为 1 或 enable_shared_expert_dp: true 时，启用额外的流来重叠共享专家的计算过程，以提高效率。

run_dp_template.sh 脚本使用位置参数（$1-$7）从 launch_online_dp.py 接收配置值：

$1（ASCEND_RT_VISIBLE_DEVICES）：分配给此DP实例的NPU设备，例如0,1,2,3或4,5,6,7。
$2（--port）：此DP实例的vLLM服务器端口，从--vllm-start-port开始自动分配（例如7100、7101）。
$3（--data-parallel-size）：DP rank的总数。
$4（--data-parallel-rank）：此DP实例的rank索引。
$5（--data-parallel-address）：DP主节点的IP地址。
$6（--data-parallel-rpc-port）：DP主节点通信的RPC端口。
$7（--tensor-parallel-size）：每个DP rank内的TP大小。

为每个节点运行服务器：

# p0
python launch_online_dp.py --dp-size 2 --tp-size 8 --dp-size-local 2 --dp-rank-start 0 --dp-address 192.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100
# p1
python launch_online_dp.py --dp-size 2 --tp-size 8 --dp-size-local 2 --dp-rank-start 0 --dp-address 192.xx.xx.2 --dp-rpc-port 12321 --vllm-start-port 7100
# d0
python launch_online_dp.py --dp-size 32 --tp-size 1 --dp-size-local 16 --dp-rank-start 0 --dp-address 192.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100
# d1
python launch_online_dp.py --dp-size 32 --tp-size 1 --dp-size-local 16 --dp-rank-start 16 --dp-address 192.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100

在 prefill 主节点上运行 proxy.sh 脚本

在与预填充服务实例相同的节点上运行代理服务器。您可以在仓库的示例中获取代理程序：load_balance_proxy_server_example.py

python load_balance_proxy_server_example.py \
  --port 1999 \
  --host 192.xx.xx.1 \
  --prefiller-hosts \
    192.xx.xx.1 \
    192.xx.xx.1 \
    192.xx.xx.2 \
    192.xx.xx.2 \
  --prefiller-ports \
    7100 7101 7100 7101 \
  --decoder-hosts \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.3 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
    192.xx.xx.4 \
  --decoder-ports \
    7100 7101 7102 7103 7104 7105 7106 7107 7108 7109 7110 7111 7112 7113 7114 7115 \
    7100 7101 7102 7103 7104 7105 7106 7107 7108 7109 7110 7111 7112 7113 7114 7115

cd vllm-ascend/examples/disaggregated_prefill_v1/
bash proxy.sh

部署验证：

PD分离服务完全启动后，通过预填充主节点上的代理端口发送请求，验证预填充节点和解码节点是否协同正常工作：

curl http://192.xx.xx.1:1999/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "kimi_k25",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果：

代理返回HTTP 200 OK。JSON响应中包含带有生成文本的choices字段，确认预填充节点已成功处理提示词，解码节点已生成响应：

{
    "id": "chatcmpl-xxxxxxxxxxxxx",
    "object": "chat.completion",
    "model": "kimi_k25",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The future of AI is not a destination we are passively approaching...",
                "finish_reason": "length"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 1037,
        "completion_tokens": 1024
    }
}

常见问题提示：如果遇到 PD 分离部署问题，请参考公共FAQ进行故障排除。

6 功能验证¶

服务器启动后，您可以使用输入提示词查询模型：

curl http://<node0_ip>:8088/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "kimi_k25",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果：

服务返回HTTP 200 OK。JSON响应中包含带有生成文本的choices字段以及使用统计信息：

{
    "id": "chatcmpl-xxxxxxxxxxxxx",
    "object": "chat.completion",
    "model": "kimi_k25",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The future of AI is not a destination we are passively approaching...",
                "finish_reason": "length"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 1037,
        "completion_tokens": 1024
    }
}

7 精度评估¶

以下是一种精度评估方法。

7.1 使用 AISBench¶

详情请参考使用AISBench。
执行后可获取结果。以下是vllm-ascend:v0.17.0rc1中Kimi-K2.5-w4a8的结果，仅供参考。

数据集	版本	指标	模式	vllm-api-general-chat	备注
GSM8K	-	accuracy	gen	96.07	1 Atlas 800 A3 (64GB × 16)
AIME2025	-	accuracy	gen	90.00	1 Atlas 800 A3 (64GB × 16)
GPQA	-	accuracy	gen	84.85	1 Atlas 800 A3 (64GB × 16)
TextVQA	-	accuracy	gen	80.29	1 Atlas 800 A3 (64GB × 16)

8 性能评估¶

8.1 使用 AISBench¶

详情请参考使用AISBench进行性能评估。

8.2 使用 vLLM Benchmark¶

以Kimi-K2.5-w4a8的性能评估为例。

更多详情请参考vllm基准测试。

vllm bench有三个子命令：

latency：对单批次请求的延迟进行基准测试。
serve：对在线服务吞吐量进行基准测试。
throughput：对离线推理吞吐量进行基准测试。

以serve为例，运行如下代码。

vllm bench serve --model Eco-Tech/Kimi-K2.5-w4a8 --dataset-name random --random-input 1024 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，即可获得性能评估结果。

9 性能调优¶

9.1 推荐配置¶

注意：以下配置在特定测试环境中验证，仅供参考。最佳配置取决于最大输入/输出长度、前缀缓存命中率、精度要求和部署机器比例等因素。建议根据实际情况参考第9.2节进行调优。

表1：场景概览¶

*Total NPUs表示所有节点上使用的NPU总数。1个节点 = 1台Atlas 800 A3服务器（64GB × 16个NPU）。

场景	部署模式	*NPU总数	权重版本	关键考量
高吞吐量/低延迟 (16k上下文)	单节点混合	16 (A3)	kimi-k2.5-w4a8	使用dp4 tp4以获得最佳吞吐量和低延迟
高吞吐量/低延迟 (16k上下文)	2节点数据并行	16 (A2)	kimi-k2.5-w4a8	跨2个节点的dp4 tp4；延迟和吞吐量均衡
高吞吐量/低延迟 (16k上下文)	2P1D部署	64 (A3)	kimi-k2.5-w4a8	预填充：dp2 tp8；解码：dp32 tp1以支持高并发
长上下文 (128k，低并发≤4)	单节点混合	16 (A3)	kimi-k2.5-w4a8	dp1 tp16以最大化TP，适应极端上下文长度
长上下文 (128k，高并发>4)	单节点混合	16 (A3)	kimi-k2.5-w4a8	dp2 tp8以优化内存带宽并支持更高并发

表2：详细节点配置¶

场景	配置	NPU数	TP	DP	最大模型长度	MTP推测数量
High Throughput / Low Latency (16k)	Server / Single Machine	16	4	4	~16k	3
High Throughput / Low Latency (16k)	Server / 2-Node DP	8	4	2	~16k	3
High Throughput / Low Latency (16k)	Server-P Node	16	8	2	~16k	3
High Throughput / Low Latency (16k)	Server-D Node	16	1	32	~16k	3
Long Context (128k, low concurrency ≤4)	Server / Single Machine	16	16	1	128k	3
Long Context (128k, high concurrency >4)	Server / Single Machine	16	8	2	128k	3

完整的启动命令和参数说明，请参考第5章中的部署示例。

注意： max-model-len和max-num-seqs需要根据实际使用场景设置。其他设置请参考部署章节。

9.2 调优指南¶

调优方法请参考优化与调优。

请参阅特性矩阵以获取详细的特性描述。

10 常见问题¶

对于常见的环境、安装和通用参数问题，请参考公共FAQ；本章仅涵盖模型特定问题。

问：单节点部署推荐使用什么TP/DP配置？

答：对于单节点部署，我们推荐使用dp4 tp4而非dp2 tp8。