Kimi-K2.5

简介

Kimi K2.5 是一个开源的、原生的多模态智能体模型，通过在 Kimi-K2-Base 基础上持续预训练约 15 万亿视觉和文本混合令牌构建而成。它无缝集成了视觉与语言理解能力、先进的智能体能力、即时与思考模式，以及对话式和智能体范式。

Kimi-K2.5 模型首次在 vllm-ascend:v0.17.0rc1 版本中得到支持。

本文档将展示该模型的主要验证步骤，包括支持的特性、特性配置、环境准备、单节点与多节点部署、精度和性能评估。

支持的特性

请参考 支持的特性 获取模型支持的特性矩阵。

请参考 特性指南 获取特性的配置信息。

环境准备

模型权重

• Kimi-K2.5-w4a8（w4a8量化版本）：下载模型权重。

• kimi-k2.5-eagle3（用于加速 Kimi-K2.5 推理的 Eagle3 MTP 草稿模型）：下载模型权重

建议将模型权重下载到多节点的共享目录中，例如 /root/.cache/。

验证多节点通信（可选）

如果您想部署多节点环境，需要根据 验证多节点通信环境 验证多节点通信。

安装

您可以使用我们的官方 docker 镜像直接运行 Kimi-K2.5。

根据您的机器类型选择镜像，并在节点上启动 docker 镜像，请参考 使用 docker。

A3 系列

在您的每个节点上启动 docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.18.0-a3
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

A2 系列

在您的每个节点上启动 docker 镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.18.0
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

此外，如果您不想使用上述 docker 镜像，也可以从源码构建所有内容：

• 从源码安装 vllm-ascend，请参考 安装。

如果您想部署多节点环境，需要在每个节点上设置环境。

部署

单节点部署

• 量化模型 Kimi-K2.5-w4a8 可以部署在 1 台 Atlas 800 A3（64G × 16）上。

运行以下脚本执行在线推理。

#!/bin/sh
# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl -w kernel.sched_migration_cost_ns=50000
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

export HCCL_BUFFSIZE=800
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_BALANCE_SCHEDULING=1

vllm serve Eco-Tech/Kimi-K2.5-W4A8 \
  --host 0.0.0.0 \
  --port 8088 \
  --quantization ascend \
  --served-model-name kimi_k25 \
  --allowed-local-media-path / \
  --trust-remote-code \
  --no-enable-prefix-caching \
  --seed 1024 \
  --tensor-parallel-size 4 \
  --data-parallel-size 4 \
  --enable-expert-parallel \
  --async-scheduling \
  --max-num-seqs 64 \
  --max-model-len 32768 \
  --max-num-batched-tokens 16384 \
  --gpu-memory-utilization 0.9 \
  --compilation-config '{"cudagraph_capture_sizes":[4,8,16,32,64,128,256], "cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --speculative-config '{"method":"eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data

注意： 参数解释如下：

• 设置环境变量 VLLM_ASCEND_BALANCE_SCHEDULING=1 启用均衡调度。这可能有助于提高 v1 调度器中的输出吞吐量并降低 TPOT。然而，在某些场景下 TTFT 可能会下降。此外，在 PD 分离的场景中不建议启用此功能。

• 对于单节点部署，我们建议使用 dp4tp4 而不是 dp2tp8。

• --max-model-len 指定最大上下文长度——即单个请求的输入和输出令牌总数。对于输入长度 3.5K 和输出长度 1.5K 的性能测试，16384 的值就足够了，但对于精度测试，请至少将其设置为 35000。

• --no-enable-prefix-caching 表示前缀缓存被禁用。要启用它，请移除此选项。

• --mm-encoder-tp-mode 指示如何使用张量并行（TP）优化多模态编码器推理。如果您想测试多模态输入，我们建议使用 data。

• 如果您使用 w4a8 权重，将有更多内存分配给 kvcache，您可以尝试增加系统吞吐量以实现更高的吞吐量。

多节点部署

• Kimi-K2.5-w4a8：需要至少 2 台 Atlas 800 A2（64G × 8）。

分别在两个节点上运行以下脚本。

节点 0

#!/bin/sh

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxxx"
local_ip="xxxx"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_INTRA_PCIE_ENABLE=1
export HCCL_INTRA_ROCE_ENABLE=0

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl -w kernel.sched_migration_cost_ns=50000
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

export HCCL_BUFFSIZE=1024
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_BALANCE_SCHEDULING=1

vllm serve Eco-Tech/Kimi-K2.5-W4A8 \
  --host 0.0.0.0 \
  --port 8088 \
  --quantization ascend \
  --served-model-name kimi_k25 \
  --allowed-local-media-path / \
  --trust-remote-code \
  --no-enable-prefix-caching \
  --seed 1024 \
  --data-parallel-size 4 \
  --data-parallel-size-local 2 \
  --data-parallel-address $node0_ip \
  --data-parallel-rpc-port 13389 \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --async-scheduling \
  --max-num-seqs 16 \
  --max-model-len 32768 \
  --max-num-batched-tokens 16384 \
  --gpu-memory-utilization 0.9 \
  --compilation-config '{"cudagraph_capture_sizes":[4,8,16,32,64], "cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --speculative-config '{"method":"eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data

节点 1

#!/bin/sh

# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="xxx"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_INTRA_PCIE_ENABLE=1
export HCCL_INTRA_ROCE_ENABLE=0

# [Optional] jemalloc
# jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl -w kernel.sched_migration_cost_ns=50000
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

export HCCL_BUFFSIZE=1024
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_BALANCE_SCHEDULING=1

vllm serve Eco-Tech/Kimi-K2.5-W4A8 \
  --host 0.0.0.0 \
  --port 8088 \
  --quantization ascend \
  --served-model-name kimi_k25 \
  --allowed-local-media-path / \
  --trust-remote-code \
  --no-enable-prefix-caching \
  --seed 1024 \
  --headless \
  --data-parallel-size 4 \
  --data-parallel-size-local 2 \
  --data-parallel-start-rank 2 \
  --data-parallel-address $node0_ip \
  --data-parallel-rpc-port 13389 \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --async-scheduling \
  --max-num-seqs 16 \
  --max-model-len 32768 \
  --max-num-batched-tokens 16384 \
  --gpu-memory-utilization 0.9 \
  --compilation-config '{"cudagraph_capture_sizes":[4,8,16,32,64], "cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --speculative-config '{"method":"eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens":3}' \
  --mm-encoder-tp-mode data

Prefill-Decode 分离

我们建议使用 Mooncake 进行部署：Mooncake。

以 Atlas 800 A3（64G × 16）为例，我们建议部署 2P1D（4 个节点）而不是 1P1D（2 个节点），因为在 1P1D 情况下没有足够的 NPU 内存来服务高并发。

• Kimi-K2.5-w4a8 2P1D 需要 4 台 Atlas 800 A3（64G × 16）。

要运行 vllm-ascend Prefill-Decode Disaggregation 服务，您需要在每个节点上部署一个 launch_dp_program.py 脚本和一个 run_dp_template.sh 脚本，并在 prefill 主节点上部署一个 proxy.sh 脚本来转发请求。

1. launch_online_dp.py 用于启动外部 dp vllm 服务器。launch_online_dp.py

2. Prefill 节点 0 run_dp_template.sh 脚本

   # this obtained through ifconfig
   # nic_name is the network interface name corresponding to local_ip of the current node
   nic_name="xxx"
   local_ip="141.xx.xx.1"
   
   # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
   node0_ip="xxxx"
   
   export HCCL_IF_IP=$local_ip
   export GLOO_SOCKET_IFNAME=$nic_name
   export TP_SOCKET_IFNAME=$nic_name
   export HCCL_SOCKET_IFNAME=$nic_name
   
   # [Optional] jemalloc
   # jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
   export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
   echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
   sysctl -w vm.swappiness=0
   sysctl -w kernel.numa_balancing=0
   sysctl kernel.sched_migration_cost_ns=50000
   export VLLM_RPC_TIMEOUT=3600000
   export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
   
   export HCCL_OP_EXPANSION_MODE="AIV"
   export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
   export OMP_PROC_BIND=false
   export OMP_NUM_THREADS=1
   export TASK_QUEUE_ENABLE=1
   export ASCEND_BUFFER_POOL=4:8
   export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH
   
   export HCCL_BUFFSIZE=256
   export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
   export ASCEND_RT_VISIBLE_DEVICES=$1
   
   vllm serve Eco-Tech/Kimi-K2.5-W4A8 \
     --host 0.0.0.0 \
     --port $2 \
     --data-parallel-size $3 \
     --data-parallel-rank $4 \
     --data-parallel-address $5 \
     --data-parallel-rpc-port $6 \
     --tensor-parallel-size $7 \
     --enable-expert-parallel \
     --seed 1024 \
     --quantization ascend \
     --served-model-name kimi_k25 \
     --trust-remote-code \
     --max-num-seqs 8 \
     --max-model-len 32768 \
     --max-num-batched-tokens 16384 \
     --no-enable-prefix-caching \
     --gpu-memory-utilization 0.8 \
     --enforce-eager \
     --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens": 3}' \
     --additional-config '{"recompute_scheduler_enable":true}' \
     --mm-encoder-tp-mode data \
     --kv-transfer-config \
     '{"kv_connector": "MooncakeConnectorV1",
     "kv_role": "kv_producer",
     "kv_port": "30000",
     "engine_id": "0",
     "kv_connector_extra_config": {
               "prefill": {
                       "dp_size": 2,
                       "tp_size": 8
               },
               "decode": {
                       "dp_size": 32,
                       "tp_size": 1
               }
         }
     }'
   

3. Prefill 节点 1 run_dp_template.sh 脚本

   # this obtained through ifconfig
   # nic_name is the network interface name corresponding to local_ip of the current node
   nic_name="xxx"
   local_ip="141.xx.xx.2"
   
   # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
   node0_ip="xxxx"
   
   export HCCL_IF_IP=$local_ip
   export GLOO_SOCKET_IFNAME=$nic_name
   export TP_SOCKET_IFNAME=$nic_name
   export HCCL_SOCKET_IFNAME=$nic_name
   
   # [Optional] jemalloc
   # jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
   export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
   echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
   sysctl -w vm.swappiness=0
   sysctl -w kernel.numa_balancing=0
   sysctl kernel.sched_migration_cost_ns=50000
   export VLLM_RPC_TIMEOUT=3600000
   export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
   
   export HCCL_OP_EXPANSION_MODE="AIV"
   export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
   export OMP_PROC_BIND=false
   export OMP_NUM_THREADS=1
   export TASK_QUEUE_ENABLE=1
   export ASCEND_BUFFER_POOL=4:8
   export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH
   
   export HCCL_BUFFSIZE=256
   export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
   export ASCEND_RT_VISIBLE_DEVICES=$1
   
   vllm serve Eco-Tech/Kimi-K2.5-W4A8 \
     --host 0.0.0.0 \
     --port $2 \
     --data-parallel-size $3 \
     --data-parallel-rank $4 \
     --data-parallel-address $5 \
     --data-parallel-rpc-port $6 \
     --tensor-parallel-size $7 \
     --enable-expert-parallel \
     --seed 1024 \
     --quantization ascend \
     --served-model-name kimi_k25 \
     --trust-remote-code \
     --max-num-seqs 8 \
     --max-model-len 32768 \
     --max-num-batched-tokens 16384 \
     --no-enable-prefix-caching \
     --gpu-memory-utilization 0.8 \
     --enforce-eager \
     --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens": 3}' \
     --additional-config '{"recompute_scheduler_enable":true}' \
     --mm-encoder-tp-mode data \
     --kv-transfer-config \
     '{"kv_connector": "MooncakeConnectorV1",
     "kv_role": "kv_producer",
     "kv_port": "30100",
     "engine_id": "1",
     "kv_connector_extra_config": {
               "prefill": {
                       "dp_size": 2,
                       "tp_size": 8
               },
               "decode": {
                       "dp_size": 32,
                       "tp_size": 1
               }
         }
     }'
   

4. Decode 节点 0 run_dp_template.sh 脚本

   # this obtained through ifconfig
   # nic_name is the network interface name corresponding to local_ip of the current node
   nic_name="xxx"
   local_ip="141.xx.xx.3"
   
   # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
   node0_ip="xxxx"
   
   export HCCL_IF_IP=$local_ip
   export GLOO_SOCKET_IFNAME=$nic_name
   export TP_SOCKET_IFNAME=$nic_name
   export HCCL_SOCKET_IFNAME=$nic_name
   
   # [Optional] jemalloc
   # jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
   export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
   echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
   sysctl -w vm.swappiness=0
   sysctl -w kernel.numa_balancing=0
   sysctl kernel.sched_migration_cost_ns=50000
   export VLLM_RPC_TIMEOUT=3600000
   export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
   
   export HCCL_OP_EXPANSION_MODE="AIV"
   export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
   export OMP_PROC_BIND=false
   export OMP_NUM_THREADS=1
   export TASK_QUEUE_ENABLE=1
   export ASCEND_BUFFER_POOL=4:8
   export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH
   
   export HCCL_BUFFSIZE=1100
   export VLLM_ASCEND_ENABLE_MLAPO=1
   export ASCEND_RT_VISIBLE_DEVICES=$1
   
   vllm serve Eco-Tech/Kimi-K2.5-W4A8 \
     --host 0.0.0.0 \
     --port $2 \
     --data-parallel-size $3 \
     --data-parallel-rank $4 \
     --data-parallel-address $5 \
     --data-parallel-rpc-port $6 \
     --tensor-parallel-size $7 \
     --enable-expert-parallel \
     --seed 1024 \
     --quantization ascend \
     --served-model-name kimi_k25 \
     --trust-remote-code \
     --max-num-seqs 48 \
     --max-model-len 32768 \
     --max-num-batched-tokens 256 \
     --no-enable-prefix-caching \
     --gpu-memory-utilization 0.95 \
     --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes":[4,8,16,32,48,64,80,96,112,128,144,160]}' \
     --additional-config '{"recompute_scheduler_enable":true,"multistream_overlap_shared_expert": false}' \
     --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens": 3}' \
     --kv-transfer-config \
     '{"kv_connector": "MooncakeConnectorV1",
     "kv_role": "kv_consumer",
     "kv_port": "30200",
     "engine_id": "2",
     "kv_connector_extra_config": {
               "prefill": {
                       "dp_size": 2,
                       "tp_size": 8
               },
               "decode": {
                       "dp_size": 32,
                       "tp_size": 1
               }
         }
     }'
   

5. Decode 节点 1 run_dp_template.sh 脚本

   # this obtained through ifconfig
   # nic_name is the network interface name corresponding to local_ip of the current node
   nic_name="xxx"
   local_ip="141.xx.xx.4"
   
   # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
   node0_ip="xxxx"
   
   export HCCL_IF_IP=$local_ip
   export GLOO_SOCKET_IFNAME=$nic_name
   export TP_SOCKET_IFNAME=$nic_name
   export HCCL_SOCKET_IFNAME=$nic_name
   
   # [Optional] jemalloc
   # jemalloc is for better performance, if `libjemalloc.so` is installed on your machine, you can turn it on.
   export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
   echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
   sysctl -w vm.swappiness=0
   sysctl -w kernel.numa_balancing=0
   sysctl kernel.sched_migration_cost_ns=50000
   export VLLM_RPC_TIMEOUT=3600000
   export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
   
   export HCCL_OP_EXPANSION_MODE="AIV"
   export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
   export OMP_PROC_BIND=false
   export OMP_NUM_THREADS=1
   export TASK_QUEUE_ENABLE=1
   export ASCEND_BUFFER_POOL=4:8
   export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH
   
   export HCCL_BUFFSIZE=1100
   export VLLM_ASCEND_ENABLE_MLAPO=1
   export ASCEND_RT_VISIBLE_DEVICES=$1
   
   vllm serve Eco-Tech/Kimi-K2.5-W4A8 \
     --host 0.0.0.0 \
     --port $2 \
     --data-parallel-size $3 \
     --data-parallel-rank $4 \
     --data-parallel-address $5 \
     --data-parallel-rpc-port $6 \
     --tensor-parallel-size $7 \
     --enable-expert-parallel \
     --seed 1024 \
     --quantization ascend \
     --served-model-name kimi_k25 \
     --trust-remote-code \
     --max-num-seqs 48 \
     --max-model-len 32768 \
     --max-num-batched-tokens 256 \
     --no-enable-prefix-caching \
     --gpu-memory-utilization 0.95 \
     --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes":[4,8,16,32,48,64,80,96,112,128,144,160]}' \
     --additional-config '{"recompute_scheduler_enable":true,"multistream_overlap_shared_expert": false}' \
     --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.5-eagle3", "num_speculative_tokens": 3}' \
     --kv-transfer-config \
     '{"kv_connector": "MooncakeConnectorV1",
     "kv_role": "kv_consumer",
     "kv_port": "30200",
     "engine_id": "2",
     "kv_connector_extra_config": {
               "prefill": {
                       "dp_size": 2,
                       "tp_size": 8
               },
               "decode": {
                       "dp_size": 32,
                       "tp_size": 1
               }
         }
     }'
   

注意： 参数解释如下：

• VLLM_ASCEND_ENABLE_FLASHCOMM1=1：在 prefill 节点上启用通信优化功能。

• VLLM_ASCEND_ENABLE_MLAPO=1：启用融合算子，这可以显著提高性能但会消耗更多 NPU 内存。在 Prefill-Decode（PD）分离场景中，仅在 decode 节点上启用 MLAPO。

• --async-scheduling：启用异步调度功能。当启用多令牌预测（MTP）时，可以实现算子交付的异步调度以重叠算子交付延迟。

• cudagraph_capture_sizes：推荐值为 n x (mtp + 1)。最小值为 n = 1，最大值为 n = max-num-seqs。对于其他值，建议将其设置为 Decode（D）节点上频繁出现的请求数量。

• recompute_scheduler_enable: true：启用重计算调度器。当解码节点的键值缓存（KV Cache）不足时，请求将被发送到预填充节点以重新计算 KV Cache。在 PD 分离场景中，建议同时在预填充和解码节点上启用此配置。

• multistream_overlap_shared_expert: true：当张量并行（TP）大小为 1 或 enable_shared_expert_dp: true 时，启用额外的流来重叠共享专家的计算过程以提高效率。

1. 为每个节点运行服务器：

   # p0
   python launch_online_dp.py --dp-size 2 --tp-size 8 --dp-size-local 2 --dp-rank-start 0 --dp-address 141.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100
   # p1
   python launch_online_dp.py --dp-size 2 --tp-size 8 --dp-size-local 2 --dp-rank-start 0 --dp-address 141.xx.xx.2 --dp-rpc-port 12321 --vllm-start-port 7100
   # d0
   python launch_online_dp.py --dp-size 32 --tp-size 1 --dp-size-local 16 --dp-rank-start 0 --dp-address 141.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100
   # d1
   python launch_online_dp.py --dp-size 32 --tp-size 1 --dp-size-local 16 --dp-rank-start 16 --dp-address 141.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100
   

2. 在预填充主节点上运行 proxy.sh 脚本

在与预填充服务实例相同的节点上运行一个代理服务器。您可以在仓库的示例中找到代理程序：load_balance_proxy_server_example.py

python load_balance_proxy_server_example.py \
  --port 1999 \
  --host 141.xx.xx.1 \
  --prefiller-hosts \
    141.xx.xx.1 \
    141.xx.xx.1 \
    141.xx.xx.2 \
    141.xx.xx.2 \
  --prefiller-ports \
    7100 7101 7100 7101 \
  --decoder-hosts \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.3 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
    141.xx.xx.4 \
  --decoder-ports \
    7100 7101 7102 7103 7104 7105 7106 7107 7108 7109 7110 7111 7112 7113 7114 7115 \
    7100 7101 7102 7103 7104 7105 7106 7107 7108 7109 7110 7111 7112 7113 7114 7115 \

cd vllm-ascend/examples/disaggregated_prefill_v1/
bash proxy.sh

功能验证

一旦您的服务器启动，您就可以使用输入提示词查询模型：

curl http://<node0_ip>:<port>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "kimi_k25",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

精度评估

以下是两种精度评估方法。

使用 AISBench

1. 详情请参考 使用 AISBench。

2. 执行后，您将获得结果。以下为 Kimi-K2.5-w4a8 在 vllm-ascend:v0.18.0rc1 环境下的结果，仅供参考。

数据集	版本	指标	模式	vllm-api-general-chat	备注
GSM8K	-	准确率	生成	96.07	1 Atlas 800 A3 (64G × 16)
AIME2025	-	准确率	生成	90.00	1 Atlas 800 A3 (64G × 16)
GPQA	-	准确率	生成	84.85	1 Atlas 800 A3 (64G × 16)
TextVQA	-	准确率	生成	80.29	1 Atlas 800 A3 (64G × 16)

性能

使用 AISBench

详情请参考 使用 AISBench 进行性能评估。

使用 vLLM Benchmark

以运行 Kimi-K2.5-w4a8 的性能评估为例。

更多详情请参考 vllm benchmark。

vllm bench 包含三个子命令：

• latency：对单批请求的延迟进行基准测试。

• serve：对在线服务吞吐量进行基准测试。

• throughput：对离线推理吞吐量进行基准测试。

以 serve 为例。运行以下代码。

export VLLM_USE_MODELSCOPE=True
vllm bench serve --model Eco-Tech/Kimi-K2.5-w4a8 --dataset-name random --random-input 1024 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您将获得性能评估结果。

最佳实践

本章节针对三种场景推荐最佳实践：

• 长上下文：对于低并发（≤ 4）的长序列：设置 dp1 tp16；对于高并发（> 4）的长序列：设置 dp2 tp8

• 低延迟：对于需要低延迟的短序列：我们推荐设置 dp2 tp8

• 高吞吐量：对于需要高吞吐量的短序列：我们也推荐设置 dp4 tp4

注意： max-model-len 和 max-num-seqs 需要根据实际使用场景进行设置。其他设置请参考 部署 章节。

常见问题

• 问：为什么在长上下文测试中 TPOT 性能不佳？

  答：请确保已成功执行 FIA 算子替换脚本以完成 FIA 算子的替换。脚本如下：A2 和 A3

• 问：启动失败，提示 HCCL 端口冲突（地址已被占用）。我该怎么办？

  答：清理旧进程并重启：pkill -f vLLM*。

• 问：如何处理 OOM 或启动不稳定的问题？

  答：首先减少 --max-num-seqs 和 --max-model-len。如有需要，降低并发度和压测压力（例如，max-concurrency / num-prompts）。