跳转至

Kimi-K2.6

1 简介

Note

本文档中提到的“PD 分离部署”仅作为示例/参考设计提供,用于演示以分离模式部署 Prefill 和 Decode 的基本流程。不建议在生产环境中使用。

对于客户侧的生产环境,推荐使用 MindIE Motor + vLLM-Ascend。

Kimi K2.6 是一个开源的原生多模态智能体模型,基于 Kimi-K2-Base,通过在大约 15 万亿混合视觉和文本 token 上进行持续预训练构建而成。它无缝集成了视觉与语言理解能力,具备高级智能体能力、即时与思考模式,以及对话与智能体范式。

本文档将展示该模型的主要验证步骤,包括支持的特性、特性配置、环境准备、单节点和多节点部署、精度及性能评估。

本文档基于 vLLM-Ascend v0.30.0 进行验证和编写。Kimi-K2.6 首次在 vLLM-Ascend v0.20.0rc1 中获得支持。

2 支持的特性

请参阅支持特性列表获取模型的支持特性矩阵。

请参阅特性指南获取特性的配置。

3 前提条件

3.1 模型权重

权重版本 硬件要求 下载链接
Kimi-K2.6-w4a8(w4a8 量化版本) 1 个 Atlas 800 A3(64GB × 16)节点或 2 个 Atlas 800 A2(64GB × 8)节点 ModelScope
kimi-k2.6-eagle3(用于加速 Kimi-K2.6 推理的 Eagle3 MTP 草稿模型) 1 个 Atlas 800 A3(64GB × 16)节点 Hugging Face
Kimi-K2.5-DFlash(一种投机解码框架,利用轻量级块
扩散模型进行并行草稿生成)
1 个 Atlas 800 A3(64GB × 16)节点 Hugging Face

建议将模型权重下载到多节点的共享目录中,例如 /root/.cache/。

路径说明:将模型权重下载到您选择的目录并记录该路径。确保后续部署命令中的模型路径与此目录一致。

3.2 验证多节点通信(可选)

如果您想部署多节点环境,需要根据验证多节点通信环境来验证多节点通信。

4 安装

4.1 Docker 镜像安装

根据您的机器类型选择镜像并在节点上启动docker镜像,请参考使用docker。

在每个节点上启动docker镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.30.0-a3
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

在每个节点上启动docker镜像。

export IMAGE=quay.io/ascend/vllm-ascend:v0.30.0
docker run --rm \
    --name vllm-ascend \
    --shm-size=1g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

docker 运行成功后,可以通过执行 docker ps 命令验证正在运行的容器服务。

4.2 源码安装

如果您不想使用上述 docker 镜像,也可以从源码构建所有内容:

  • 从源码安装vllm-ascend,请参考安装。

如果您想部署多节点环境,需要在每个节点上进行环境设置。

5 在线服务部署

5.1 单节点在线部署

单节点部署在同一节点内完成Prefill和Decode。量化模型Kimi-K2.6-w4a8可部署在1台Atlas 800 A3(64GB × 16)上。

虽然单节点设置支持所有输入/输出场景,但为获得最佳性能,请考虑部署多节点。

启动命令:

#!/bin/sh
export HCCL_OP_EXPANSION_MODE="AIV"
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
sysctl -w vm.swappiness=0
sysctl -w kernel.numa_balancing=0
sysctl -w kernel.sched_migration_cost_ns=50000

export HCCL_BUFFSIZE=600

# Ensure the model path matches the directory recorded during download
vllm serve Eco-Tech/Kimi-K2.6-w4a8 \
    --quantization ascend \
    --enable-auto-tool-choice \
    --tool-call-parser kimi_k2 \
    --reasoning-parser kimi_k2 \
    --allowed-local-media-path /data/media \
    --served-model-name Eco-Tech/Kimi-K2.6-w4a8 \
    --trust-remote-code \
    --tensor-parallel-size 4 \
    --data-parallel-size 4 \
    --no-enable-prefix-caching \
    --enable-expert-parallel \
    --port 8000 \
    --max-num-seqs 4 \
    --max-model-len 15000 \
    --max-num-batched-tokens 16384 \
    --gpu-memory-utilization 0.87 \
    --seed 42 \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --profiler-config '{"profiler": "torch", "torch_profiler_dir": "./vllm_profile", "torch_profiler_with_stack": true}' \
    --mm-processor-cache-gb 0 \
    --mm-encoder-tp-mode data \
    --additional-config '{"scheduler_config":{"enable_balance_scheduling":false},"enable_mlapo":true}' \
    --speculative-config '{"method": "dflash","model": "z-lab/Kimi-K2.5-DFlash", "num_speculative_tokens": 15}'

关键参数说明:

  • 设置 additional_config.scheduler_config.enable_balance_scheduling=true 可启用均衡调度。这有助于提升 v1 调度器的输出吞吐量并降低 TPOT。但在某些场景下(长提示词涌入、多模态输入(Kimi-K2.6 特有)以及并发请求突增等),TTFT 可能会变差。此外,在 PD 分离的场景中不建议启用此特性。
  • --max-model-len 指定最大上下文长度,即单个请求的输入与输出 token 之和。对于输入长度为 3.5k、输出长度为 1.5k 的性能测试,15000 已足够;但对于精度测试,请至少设置为 35000。
  • --no-enable-prefix-caching 表示禁用前缀缓存。如需启用,请移除该选项。
  • --allowed-local-media-path 允许多模态请求从服务器上的 /data/media 及其子目录加载本地媒体文件(如图片和视频)。请将媒体文件放入该目录,或将路径改为包含媒体文件的目录。
  • --mm-encoder-tp-mode 表示如何利用张量并行(TP)优化多模态编码器推理。如需测试多模态输入,推荐使用 data。
  • 如果使用 w4a8 权重,将有更多内存分配给 KV Cache,您可以尝试增大 --max-num-seqs 以提升系统吞吐量。

常见问题提示:如果遇到问题,请参阅公共FAQ进行故障排查。

5.2 多节点 PD 分离部署

我们推荐使用 Mooncake 作为部署前提:Mooncake。

在标准单节点部署模式下,Prefill(提示处理)和 Decode(token 生成)任务在同一组 NPU 上运行。这可能导致两个问题:

  1. Prefill抢占中断Decode:Prefill是计算密集型任务,一次性处理整个输入上下文,而Decode逐个生成Token。当新用户请求到达时,其Prefill阶段会抢占并中断正在进行的Decode任务,导致抖动和更高的每个输出Token延迟(TPOT)。
  2. 资源分配不灵活:Prefill和Decode具有根本不同的计算特性——Prefill受计算能力限制且内存带宽密集,而Decode受内存带宽限制。在同一硬件上运行两者会迫使做出折中,无法最优满足任何一方。

PD(Prefill-Decode)分离通过将Prefill和Decode运行在专用的节点组上(每组独立配置)来解决这些问题:

  • Prefill节点专注于高吞吐量的提示处理,针对计算和通信进行了优化(例如,启用序列并行以加速Allreduce)。

  • Decode节点专注于低延迟的Token生成,针对内存带宽进行了优化(例如,启用MLAPO融合算子)。

此架构推荐用于具有并发多用户工作负载的生产部署,其中需要稳定的延迟和高吞吐量。

以 Atlas 800 A3(64GB × 16)为例,我们推荐部署 2P1D(4 个节点,其中 1 个 Decode 实例跨 2 个节点),而不是 1P1D(2 个节点),因为在 1P1D 情况下 NPU 内存不足以支撑高并发。

  • Kimi-K2.6-w4a8 2P1D:需要4台Atlas 800 A3(64GB × 16)节点。

要运行vllm-ascend的Prefill-Decode分离服务,您需要在每个节点上部署launch_online_dp.py脚本和run_dp_template.sh脚本,并在prefill主节点上部署proxy.sh脚本以转发请求。

建议将 launch_online_dp.py 和 run_dp_template.sh 存放在所有节点均可访问的共享目录中,例如 /xxx/shared/scripts/pd。launch_online_dp.py 会调用 run_dp_template.sh。

launch_online_dp.py

参数说明:

参数 类型 必填 默认值 描述
--dp-size int 是 - 数据并行大小(所有节点上的DP rank总数)。
--tp-size int 否 1 每个DP rank内的张量并行大小。
--dp-size-local int 否 (与--dp-size相同) 当前节点上的DP rank数量。如果未设置,默认值为--dp-size。
--dp-rank-start int 否 0 此节点上数据并行rank的起始偏移量。
--dp-address str 是 - 数据并行主节点(节点0)的IP地址。
--dp-rpc-port str 否 12345 数据并行主节点通信的RPC端口。
--vllm-start-port int 否 9000 此节点上每个vLLM引擎实例的起始端口。每个DP rank的引擎端口 = vllm_start_port + 本地rank索引。
  1. run_dp_template.sh脚本

    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="192.xx.xx.1"
    
    # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
    node0_ip="xxxx"
    
    export HCCL_IF_IP=$local_ip
    export GLOO_SOCKET_IFNAME=$nic_name
    export TP_SOCKET_IFNAME=$nic_name
    export HCCL_SOCKET_IFNAME=$nic_name
    
    echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
    sysctl -w vm.swappiness=0
    sysctl -w kernel.numa_balancing=0
    sysctl kernel.sched_migration_cost_ns=50000
    export VLLM_RPC_TIMEOUT=3600000
    export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
    export HCCL_EXEC_TIMEOUT=204
    export HCCL_CONNECT_TIMEOUT=120
    
    export HCCL_OP_EXPANSION_MODE="AIV"
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    export OMP_PROC_BIND=false
    export OMP_NUM_THREADS=1
    export TASK_QUEUE_ENABLE=1
    export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH
    
    export HCCL_BUFFSIZE=1536
    export ASCEND_RT_VISIBLE_DEVICES=$1
    
    # Ensure the model path matches the directory recorded during download
    vllm serve Eco-Tech/Kimi-K2.6-w4a8 \
        --host 0.0.0.0 \
        --port $2 \
        --data-parallel-size $3 \
        --data-parallel-rank $4 \
        --data-parallel-address $5 \
        --data-parallel-rpc-port $6 \
        --tensor-parallel-size $7 \
        --enable-expert-parallel \
        --seed 1024 \
        --quantization ascend \
        --served-model-name Eco-Tech/Kimi-K2.6-w4a8 \
        --trust-remote-code \
        --max-num-seqs 1 \
        --max-model-len 133120 \
        --max-num-batched-tokens 16384 \
        --no-enable-prefix-caching \
        --gpu-memory-utilization 0.92 \
        --enforce-eager \
        --enable-auto-tool-choice \
        --tool-call-parser kimi_k2 \
        --reasoning-parser kimi_k2 \
        --additional-config '{"recompute_scheduler_enable":true,"enable_shared_expert_dp": true}' \
        --mm-encoder-tp-mode data \
        --kv-transfer-config \
        '{"kv_connector": "MooncakeConnectorV1",
        "kv_role": "kv_producer",
        "kv_port": "30000",
        "kv_connector_extra_config": {
                "use_ascend_direct": true,
                "prefill": {
                        "dp_size": 4,
                        "tp_size": 4
                },
                "decode": {
                        "dp_size": 8,
                        "tp_size": 4
                }
            }
        }'
    
    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="192.xx.xx.2"
    
    # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
    node0_ip="xxxx"
    
    export HCCL_IF_IP=$local_ip
    export GLOO_SOCKET_IFNAME=$nic_name
    export TP_SOCKET_IFNAME=$nic_name
    export HCCL_SOCKET_IFNAME=$nic_name
    
    echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
    sysctl -w vm.swappiness=0
    sysctl -w kernel.numa_balancing=0
    sysctl kernel.sched_migration_cost_ns=50000
    export VLLM_RPC_TIMEOUT=3600000
    export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
    export HCCL_EXEC_TIMEOUT=204
    export HCCL_CONNECT_TIMEOUT=120
    
    export HCCL_OP_EXPANSION_MODE="AIV"
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    export OMP_PROC_BIND=false
    export OMP_NUM_THREADS=1
    export TASK_QUEUE_ENABLE=1
    export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH
    
    export HCCL_BUFFSIZE=1536
    export ASCEND_RT_VISIBLE_DEVICES=$1
    
    # Ensure the model path matches the directory recorded during download
    vllm serve Eco-Tech/Kimi-K2.6-w4a8 \
        --host 0.0.0.0 \
        --port $2 \
        --data-parallel-size $3 \
        --data-parallel-rank $4 \
        --data-parallel-address $5 \
        --data-parallel-rpc-port $6 \
        --tensor-parallel-size $7 \
        --enable-expert-parallel \
        --seed 1024 \
        --quantization ascend \
        --served-model-name Eco-Tech/Kimi-K2.6-w4a8 \
        --trust-remote-code \
        --max-num-seqs 1 \
        --max-model-len 133120 \
        --max-num-batched-tokens 16384 \
        --no-enable-prefix-caching \
        --gpu-memory-utilization 0.92 \
        --enforce-eager \
        --enable-auto-tool-choice \
        --tool-call-parser kimi_k2 \
        --reasoning-parser kimi_k2 \
        --additional-config '{"recompute_scheduler_enable":true,"enable_shared_expert_dp": true}' \
        --mm-encoder-tp-mode data \
        --kv-transfer-config \
        '{"kv_connector": "MooncakeConnectorV1",
        "kv_role": "kv_producer",
        "kv_port": "30100",
        "kv_connector_extra_config": {
                "prefill": {
                        "dp_size": 4,
                        "tp_size": 4
                },
                "decode": {
                        "dp_size": 8,
                        "tp_size": 4
                }
            }
        }'
    
    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="192.xx.xx.3"
    
    # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
    node0_ip="xxxx"
    
    export HCCL_IF_IP=$local_ip
    export GLOO_SOCKET_IFNAME=$nic_name
    export TP_SOCKET_IFNAME=$nic_name
    export HCCL_SOCKET_IFNAME=$nic_name
    
    echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
    sysctl -w vm.swappiness=0
    sysctl -w kernel.numa_balancing=0
    sysctl kernel.sched_migration_cost_ns=50000
    export VLLM_RPC_TIMEOUT=3600000
    export HCCL_EXEC_TIMEOUT=204
    export HCCL_CONNECT_TIMEOUT=120
    export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
    
    export HCCL_OP_EXPANSION_MODE="AIV"
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    export OMP_PROC_BIND=false
    export OMP_NUM_THREADS=1
    export TASK_QUEUE_ENABLE=1
    export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH
    
    export HCCL_BUFFSIZE=800
    export ASCEND_RT_VISIBLE_DEVICES=$1
    
    # Ensure the model path matches the directory recorded during download
    vllm serve Eco-Tech/Kimi-K2.6-w4a8 \
        --host 0.0.0.0 \
        --port $2 \
        --data-parallel-size $3 \
        --data-parallel-rank $4 \
        --data-parallel-address $5 \
        --data-parallel-rpc-port $6 \
        --tensor-parallel-size $7 \
        --enable-expert-parallel \
        --seed 1024 \
        --quantization ascend \
        --served-model-name Eco-Tech/Kimi-K2.6-w4a8 \
        --trust-remote-code \
        --max-num-seqs 8 \
        --max-model-len 133720 \
        --max-num-batched-tokens 32 \
        --no-enable-prefix-caching \
        --gpu-memory-utilization 0.91 \
        --enable-auto-tool-choice \
        --tool-call-parser kimi_k2 \
        --reasoning-parser kimi_k2 \
        --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
        --additional-config '{"recompute_scheduler_enable":true,"multistream_overlap_shared_expert":true,"enable_mlapo":true}' \
        --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.6-eagle3", "num_speculative_tokens": 3}' \
        --kv-transfer-config \
        '{"kv_connector": "MooncakeConnectorV1",
        "kv_role": "kv_consumer",
        "kv_port": "30200",
        "kv_connector_extra_config": {
                "prefill": {
                        "dp_size": 4,
                        "tp_size": 4
                },
                "decode": {
                        "dp_size": 8,
                        "tp_size": 4
                }
            }
        }'
    
    # this obtained through ifconfig
    # nic_name is the network interface name corresponding to local_ip of the current node
    nic_name="xxx"
    local_ip="192.xx.xx.4"
    
    # The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
    node0_ip="xxxx"
    
    export HCCL_IF_IP=$local_ip
    export GLOO_SOCKET_IFNAME=$nic_name
    export TP_SOCKET_IFNAME=$nic_name
    export HCCL_SOCKET_IFNAME=$nic_name
    
    echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
    sysctl -w vm.swappiness=0
    sysctl -w kernel.numa_balancing=0
    sysctl kernel.sched_migration_cost_ns=50000
    export VLLM_RPC_TIMEOUT=3600000
    export HCCL_EXEC_TIMEOUT=204
    export HCCL_CONNECT_TIMEOUT=120
    export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
    
    export HCCL_OP_EXPANSION_MODE="AIV"
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    export OMP_PROC_BIND=false
    export OMP_NUM_THREADS=1
    export TASK_QUEUE_ENABLE=1
    export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/python/site-packages/mooncake:$LD_LIBRARY_PATH
    
    export HCCL_BUFFSIZE=800
    export ASCEND_RT_VISIBLE_DEVICES=$1
    
    # Ensure the model path matches the directory recorded during download
    vllm serve Eco-Tech/Kimi-K2.6-w4a8 \
        --host 0.0.0.0 \
        --port $2 \
        --data-parallel-size $3 \
        --data-parallel-rank $4 \
        --data-parallel-address $5 \
        --data-parallel-rpc-port $6 \
        --tensor-parallel-size $7 \
        --enable-expert-parallel \
        --seed 1024 \
        --quantization ascend \
        --served-model-name Eco-Tech/Kimi-K2.6-w4a8 \
        --trust-remote-code \
        --max-num-seqs 8 \
        --max-model-len 133720 \
        --max-num-batched-tokens 32 \
        --no-enable-prefix-caching \
        --gpu-memory-utilization 0.91 \
        --enable-auto-tool-choice \
        --tool-call-parser kimi_k2 \
        --reasoning-parser kimi_k2 \
        --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
        --additional-config '{"recompute_scheduler_enable":true,"multistream_overlap_shared_expert":true,"enable_mlapo":true}' \
        --speculative-config '{"method": "eagle3", "model":"lightseekorg/kimi-k2.6-eagle3", "num_speculative_tokens": 3}' \
        --kv-transfer-config \
        '{"kv_connector": "MooncakeConnectorV1",
        "kv_role": "kv_consumer",
        "kv_port": "30300",
        "kv_connector_extra_config": {
                "prefill": {
                        "dp_size": 4,
                        "tp_size": 4
                },
                "decode": {
                        "dp_size": 8,
                        "tp_size": 4
                }
            }
        }'
    

    关键参数说明(Decode):

    • additional_config.enable_mlapo=true:启用融合算子,可显著提升性能,但会消耗更多 NPU 内存。在 Prefill-Decode(PD)分离场景下,仅在 decode 节点上启用 MLAPO。
    • recompute_scheduler_enable: true:启用重计算调度器。当 decode 节点的键值缓存(KV Cache)不足时,请求将被发送到 prefill 节点以重新计算 KV Cache。在 PD 分离场景下,建议在 prefill 和 decode 节点上同时启用此配置。
    • multistream_overlap_shared_expert: true:当张量并行(TP)大小为 1 或 enable_shared_expert_dp: true 时,启用额外的流以重叠共享专家的计算过程,从而提高效率。
  2. 为每个节点运行服务器:

    # p0
    python launch_online_dp.py --dp-size 4 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address 192.xx.xx.1 --dp-rpc-port 12321 --vllm-start-port 7100
    # p1
    python launch_online_dp.py --dp-size 4 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address 192.xx.xx.2 --dp-rpc-port 12321 --vllm-start-port 7100
    # d0
    python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address 192.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100
    # d1
    python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 4 --dp-rank-start 4 --dp-address 192.xx.xx.3 --dp-rpc-port 12321 --vllm-start-port 7100
    
  3. 在prefill主节点上运行proxy.sh脚本

    在与prefiller服务实例相同的节点上运行代理服务器。您可以在仓库的示例中获取代理程序:load_balance_proxy_server_example.py

    将以下脚本保存为 vllm-ascend/examples/disaggregated_prefill_v1/ 目录下的 proxy.sh。

    python load_balance_proxy_server_example.py \
      --port 1999 \
      --host 192.xx.xx.1 \
      --prefiller-hosts \
        192.xx.xx.1 \
        192.xx.xx.1 \
        192.xx.xx.1 \
        192.xx.xx.1 \
        192.xx.xx.2 \
        192.xx.xx.2 \
        192.xx.xx.2 \
        192.xx.xx.2 \
      --prefiller-ports \
        7100 7101 7102 7103 7100 7101 7102 7103 \
      --decoder-hosts \
        192.xx.xx.3 \
        192.xx.xx.3 \
        192.xx.xx.3 \
        192.xx.xx.3 \
        192.xx.xx.4 \
        192.xx.xx.4 \
        192.xx.xx.4 \
        192.xx.xx.4 \
      --decoder-ports \
        7100 7101 7102 7103 \
        7100 7101 7102 7103
    
    cd vllm-ascend/examples/disaggregated_prefill_v1/
    bash proxy.sh
    

部署验证:

PD分离服务完全启动后,通过prefill主节点上的代理端口发送请求,验证Prefill和Decode节点是否正确协同工作:

curl http://<NODE0_LOCAL_IP>:<SERVICE_PORT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Eco-Tech/Kimi-K2.6-w4a8",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果:

代理返回 HTTP 200 OK。如果不是,则说明 PD 分离服务未成功启动。JSON 响应中包含带有生成文本的 choices 字段,表明 Prefill 节点已成功处理提示词,Decode 节点已生成响应:

{
    "id": "chatcmpl-xxxxxxxxxxxxx",
    "object": "chat.completion",
    "model": "Eco-Tech/Kimi-K2.6-w4a8",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The future of AI is not a destination we are passively approaching...",
                "finish_reason": "length"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 1037,
        "completion_tokens": 1024
    }
}

常见问题提示:如果遇到 PD 分离部署问题,请参阅公共FAQ进行故障排查。

6 功能验证

服务器启动后,您可以使用输入提示查询模型:

对于单节点部署,将 <port> 设置为服务端口 8000。对于 PD 分离部署,使用代理节点并将 <port> 设置为代理端口 1999。

curl http://<node0_ip>:<port>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Eco-Tech/Kimi-K2.6-w4a8",
        "messages": [{
            "role": "user",
            "content": [
            {
                "type": "text",
                "text": "The future of AI is"
            }]
        }],
        "max_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果:

服务返回HTTP 200 OK。JSON响应包含带有生成文本的choices字段,以及使用统计信息:

{
    "id": "chatcmpl-9df13fd5e539af93",
    "object": "chat.completion",
    "created": 1780971952,
    "model": "Eco-Tech/Kimi-K2.6-w4a8",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The future of AI is not a destination we are passively approaching, but a design problem we are actively solving right now...",
                "reasoning": "The user is asking for my thoughts on...",
                "finish_reason": "length"
            }
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 1037,
        "completion_tokens": 1024
    }
}

7 精度评估

这里提供一种精度评估方法。

7.1 使用 AISBench

  1. 详情请参考使用AISBench。

  2. 执行完成后,即可获得结果。以下是 vllm-ascend:v0.23.0 中 Kimi-K2.6-w4a8 的结果,仅供参考。

数据集 版本 指标 模式 vllm-api-general-chat 备注
AIME2026 - accuracy gen 96.67 1 Atlas 800 A3 (8 Cards, 16 NPUs × 64GB)
GPQA - accuracy gen 90.91 1 Atlas 800 A3 (8 Cards, 16 NPUs × 64GB)
MMMU - accuracy gen 81.89 1 Atlas 800 A3 (8 Cards, 16 NPUs × 64GB)

8 性能评估

8.1 使用 AISBench

详情请参考使用 AISBench 进行性能评估。

8.2 使用 vLLM Benchmark

以 Kimi-K2.6-w4a8 为例运行性能评估。

更多详情请参考 vllm benchmark。

vllm bench 包含三个子命令:

  • latency:对单批请求的延迟进行基准测试。
  • serve:对在线服务吞吐量进行基准测试。
  • throughput:对离线推理吞吐量进行基准测试。

以 serve 为例,按如下方式运行代码。

vllm bench serve --model Eco-Tech/Kimi-K2.6-w4a8 --trust-remote-code --dataset-name random --random-input 1024 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后,即可获得性能评估结果。

9 性能调优

9.1 推荐配置

注意:以下配置在特定测试环境中验证,仅供参考。最佳配置取决于最大输入/输出长度、前缀缓存命中率、精度要求以及部署机器比例等因素。建议根据实际情况参考第 9.2 节进行调优。

表 1:场景概览

*NPU总数表示所有节点使用的NPU总数。1个节点 = 1台Atlas 800 A3服务器(64GB × 16个NPU)。

场景 部署模式 NPU 总数 权重版本 关键考量
高吞吐
(16k 输入)
单节点混合部署 16(A3) Kimi-K2.6-w4a8 使用 dp2 tp8 以平衡内存容量与计算效率
高吞吐
(16k 输入)
1P1D 部署 32(A3) Kimi-K2.6-w4a8 P 和 D 节点均使用 dp2 tp8;延迟与吞吐量均衡
高吞吐
(16k 输入)
2P1D 部署 64(A3) Kimi-K2.6-w4a8 跨节点从 dp4 tp4 扩展到 dp8 tp4
长上下文
(128k,无前缀缓存)
单节点混合部署 16(A3) Kimi-K2.6-w4a8 使用 dp1 tp16 以最大化 TP,适应极端上下文长度
长上下文
(128k,启用前缀缓存)
单节点混合部署 16(A3) Kimi-K2.6-w4a8 使用 dp2 tp8 以优化内存带宽并提升缓存利用率
多模态
(1080P)
单节点混合部署 16(A3) Kimi-K2.6-w4a8 使用 dp1 tp16 以处理高分辨率视觉输入
多模态
(1080P)
1P1D 部署 32(A3) Kimi-K2.6-w4a8 使用 dp2 tp8 或 dp16 tp1,取决于内存与并发情况
多模态
(1080P)
2P1D 部署 64(A3) Kimi-K2.6-w4a8 从 dp8 tp2 到 dp32 tp1,为繁重的多模态工作负载最大化吞吐量

表 2:详细节点配置

场景 配置 NPU数 TP DP 最大模型长度 MTP推测数
High Throughput / Low Latency (16k) Server / Single Machine 16 8 2 17k 15
High Throughput / Low Latency (16k) Server-P Node 16 8 2 17k 3
High Throughput / Low Latency (16k) Server-D Node 16 8 2 17k 3
Long Context (128k, no cache) Server / Single Machine 16 16 1 130k 15
Long Context (128k, with cache) Server / Single Machine 16 8 2 130k 15
Multimodal (1080P) Server / Single Machine 16 16 1 17k 15
Multimodal (1080P) Server-P Node 16 8 2 17k 3
Multimodal (1080P) Server-D Node 16 1 16 17k 3

完整的启动命令和参数说明,请参考第 5 章中的部署示例。

注意: max-model-len 和 max-num-seqs 需要根据实际使用场景设置。其他设置请参考 部署 章节。

9.2 调优指南

调优方法请参考优化与调优。

请参阅特性矩阵获取详细的特性描述。

10 常见问题

对于常见的环境、安装和通用参数问题,请参阅公共FAQ;本章仅涵盖模型特定问题。

  • 问:tool_calls 功能需要什么版本的 transformers?

答:对于 vLLM-Ascend v0.20.0 及更早版本,使用 tool_calls 功能时 transformers 版本必须为 4.57.6 或更低。