GLM-5.2#
1 引言#
GLM-5.2 采用混合专家(MoE)架构,面向复杂系统工程和长周期智能体任务。
本文档将展示该模型的主要验证步骤,包括支持的特性、特性配置、环境准备、单节点与多节点部署、精度及性能评估。
2 支持的特性#
请参考支持的特性获取该模型的支持特性矩阵。
请参考特性指南获取特性的配置方法。
3 前提条件#
3.1 模型权重#
GLM-5.2-w8a8c8:需要 2 个 Atlas 800 A3(128GB × 8)节点。下载模型权重。该权重已在 Atlas 800 A3 上验证,推荐使用。GLM-5.2-w4a8c8(实验性):需要 1 个 Atlas 800 A3(128GB × 8)节点或 2 个 Atlas 800 A2(64GB × 8)节点。该实验性特性在 Prefill-Decode(PD)分离场景中存在已知的精度问题。下载模型权重。该权重已在 Atlas 800 A2 上验证,推荐使用。您可以使用msmodelslim直接对模型进行量化。
建议将模型权重下载到多节点的共享目录中,例如 /root/.cache/
3.2 验证多节点通信(可选)#
如需部署多节点环境,需按照验证多节点通信环境的步骤验证多节点通信。
4 安装#
4.1 Docker 镜像安装#
您可以直接使用我们的官方Docker镜像运行GLM-5.2。
在每个节点上启动 docker 镜像。
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0.post1-a3
docker run --rm \
--name vllm-ascend \
--shm-size=512g \
--net=host \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci8 \
--device /dev/davinci9 \
--device /dev/davinci10 \
--device /dev/davinci11 \
--device /dev/davinci12 \
--device /dev/davinci13 \
--device /dev/davinci14 \
--device /dev/davinci15 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /root/.cache:/root/.cache \
-it $IMAGE bash
在每个节点上启动Docker镜像。
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0.post1
docker run --rm \
--name vllm-ascend \
--shm-size=512g \
--net=host \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /root/.cache:/root/.cache \
-it $IMAGE bash
如果您想部署多节点环境,需要在每个节点上配置环境。
4.2 源码安装#
如果您不想像上面那样使用 docker 镜像,您也可以从源码构建所有内容:
从源码安装
vllm-ascend,请参考安装。
5 部署#
本版本验证的部署场景按上下文窗口大小(1M以下/1M)、硬件(Atlas 800 A3 / A2)和部署模式(单节点、多节点共置、Prefill-Decode分离)进行组织。以下所有启动脚本均为已验证的参考命令;关键参数在每个场景后进行说明。
5.1 1M以下上下文#
5.1.1 Atlas 800 A3#
5.1.1.1 单节点部署#
量化模型
GLM-5.2-w4a8c8(实验性,参见模型权重)可部署在 1 个 Atlas 800 A3(128GB × 8)上。
运行以下脚本执行在线推理。
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=200
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=0
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w4a8c8 \
--host 0.0.0.0 \
--port 8077 \
--api-server-count 1 \
--data-parallel-size 2 \
--enable-expert-parallel \
--tensor-parallel-size 8 \
--seed 1024 \
--served-model-name glm-5 \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--enable-auto-tool-choice \
--max-num-seqs 12 \
--max-model-len 135000 \
--max-num-batched-tokens 8192 \
--trust-remote-code \
--gpu-memory-utilization 0.92 \
--quantization ascend \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--additional-config '{"enable_dsa_cp": true, "enable_sparse_li_c8": true,"enable_balance_scheduling": true,"multistream_overlap_shared_expert":true}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp","enforce_eager":true}'
关键参数说明:
以下仅描述针对此模型/场景的关键参数。max-model-len和max-num-seqs需要根据实际使用场景进行设置。
模型相关参数:
--enable-expert-parallel:对于GLM-5.2的MoE架构必须启用。--quantization ascend:为w4a8c8量化权重启用Ascend量化。--data-parallel-size 2/--tensor-parallel-size 8:DP2 TP8并行布局,推荐用于平衡w4a8c8权重的内存容量和计算效率。对于低延迟场景,改用dp1tp16并关闭专家并行,但会降低吞吐量。--tool-call-parser glm47/--reasoning-parser glm45/--enable-auto-tool-choice:为GLM-5.2启用函数调用功能。--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}':启用多令牌预测(MTP)投机解码,使用GLM-5.2的DeepSeek风格MTP草稿头。num_speculative_tokens(3-5)控制每步推测的令牌数量;enforce_eager: true是必需的,因为GLM-5.2不支持图模式投机解码。--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}':仅对解码阶段启用图捕获,通过减少内核启动开销来提升解码性能。VLLM_ASCEND_ENABLE_FUSED_MC2=0:在此场景中禁用融合的dispatch_ffn_combine/mega_moe算子,因为它们与multistream_overlap_shared_expert冲突;在多节点场景中如果它们有益,可以启用。
--additional-config字段(Ascend特定优化):
"enable_dsa_cp": true:启用DSA上下文并行以加速长上下文预填充。自v0.21.0起,DSA-CP与FlashComm1解耦,必须显式启用。启用DSA-CP后,layer_sharding不能包含o_proj。"enable_sparse_li_c8": true:C8量化模型的稀疏注意力优化。enable_sparse_li_c8加速层索引(LI)稀疏注意力,建议保持为true;如果因序列长度过长导致GPU内存不足,建议启用enable_sparse_sfa_c8。"enable_balance_scheduling": true:均衡调度可提升输出吞吐量并降低v1调度器中的TPOT。它取代了已弃用的环境变量VLLM_ASCEND_BALANCE_SCHEDULING;在某些场景下TTFT可能会恶化,在Prefill-Decode分离时不建议使用。"multistream_overlap_shared_expert": true:在额外的流上重叠共享专家计算,提升解码效率。
5.1.1.2 多节点共置部署#
GLM-5.2-w8a8c8(198K上下文,双节点共置):
GLM-5.2-w8a8c8 可部署在 2 个 Atlas 800 A3(128GB × 8)上,用于 198K 高吞吐场景(DP8 TP4,每节点 4 个 DP rank)。
分别在两个节点上运行以下脚本。
节点0
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=400
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port 8077 \
--api-server-count 1 \
--data-parallel-size 8 \
--data-parallel-start-rank 0 \
--data-parallel-size-local 4 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 12980 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name glm-5 \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--enable-auto-tool-choice \
--max-num-seqs 6 \
--max-model-len 202752 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.92 \
--quantization ascend \
--enable-chunked-prefill \
--enable-prefix-caching \
--async-scheduling \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--additional-config '{"enable_dsa_cp": true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "enable_balance_scheduling": true, "fuse_muls_add": true}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp","enforce_eager":true}'
节点1
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=400
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port 8077 \
--headless \
--data-parallel-size 8 \
--data-parallel-start-rank 4 \
--data-parallel-size-local 4 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 12980 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name glm-5 \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--enable-auto-tool-choice \
--max-num-seqs 6 \
--max-model-len 202752 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.92 \
--quantization ascend \
--enable-chunked-prefill \
--enable-prefix-caching \
--async-scheduling \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--additional-config '{"enable_dsa_cp": true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "enable_balance_scheduling": true, "fuse_muls_add": true}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp","enforce_eager":true}'
注意:
VLLM_ASCEND_ENABLE_FUSED_MC2=1与"multistream_overlap_shared_expert": true冲突——启用fused MC2时,运行时自动禁用multistream_overlap_shared_expert。当使用前缀缓存命中率> 0进行测试时,保留
--enable-prefix-caching(如上述脚本所示);当命中率为0时,将其替换为--no-enable-prefix-caching。
5.1.1.3 Prefill-Decode 分离部署#
我们希望在多节点环境中展示GLM-5.2的部署指南,采用Prefill-Decode(PD)分离以获得更好的性能。
在 PD 分离场景中,Mooncake 用作预填充节点和解码节点之间的 KV 缓存传输连接器。有关 Mooncake 配置,请参阅 KV 缓存池(Ascend Store)部署指南。
开始之前,请
在每个节点上准备脚本
launch_online_dp.py:import argparse import multiprocessing import os import subprocess import sys def parse_args(): parser = argparse.ArgumentParser() parser.add_argument("--dp-size", type=int, required=True, help="Data parallel size.") parser.add_argument("--tp-size", type=int, default=1, help="Tensor parallel size.") parser.add_argument("--pp-size", type=int, default=1, help="Pipeline parallel size.") parser.add_argument("--dp-size-local", type=int, default=-1, help="Local data parallel size.") parser.add_argument("--dp-rank-start", type=int, default=0, help="Starting rank for data parallel.") parser.add_argument("--dp-address", type=str, required=True, help="IP address for data parallel master node.") parser.add_argument("--dp-rpc-port", type=str, default="12321", help="Port for data parallel master node.") parser.add_argument("--vllm-start-port", type=int, default=8000, help="Starting port for the engine.") return parser.parse_args() args = parse_args() dp_size = args.dp_size tp_size = args.tp_size pp_size = args.pp_size dp_size_local = args.dp_size_local if dp_size_local == -1: dp_size_local = dp_size dp_rank_start = args.dp_rank_start dp_address = args.dp_address dp_rpc_port = args.dp_rpc_port vllm_start_port = args.vllm_start_port gpus_per_dp_rank = tp_size * pp_size def run_command(visible_devices, dp_rank, vllm_engine_port): command = [ "bash", "./run_dp_template.sh", visible_devices, str(vllm_engine_port), str(dp_size), str(dp_rank), dp_address, dp_rpc_port, str(tp_size), str(pp_size), ] subprocess.run(command, check=True) if __name__ == "__main__": template_path = "./run_dp_template.sh" if not os.path.exists(template_path): print(f"Template file {template_path} does not exist.") sys.exit(1) processes = [] num_cards = dp_size_local * gpus_per_dp_rank for i in range(dp_size_local): dp_rank = dp_rank_start + i vllm_engine_port = vllm_start_port + i visible_devices = ",".join(str(x) for x in range(i * gpus_per_dp_rank, (i + 1) * gpus_per_dp_rank)) process = multiprocessing.Process( target=run_command, args=(visible_devices, dp_rank, vllm_engine_port) ) processes.append(process) process.start() for process in processes: process.join()
GLM-5.2-w8a8c8(198K上下文,PP2 PD分离):
GLM-5.2-w8a8c8 PD 分离可部署在 4 个 Atlas 800 A3(128GB × 8)上:2 个预填充节点(PP2 TP16,78 层划分为 41/37,每节点 1 个 PP rank)和 2 个解码节点(DP8 TP4,每节点 4 个 DP rank)。
预填充节点 0(run_dp_template.sh):node_rank=0,引擎端口 9081(PP 主节点,--master-addr 使用 $local_ip)。
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
# pp=2
export VLLM_PP_LAYER_PARTITION="41,37"
node_rank=0
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=400
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port 9081 \
--pipeline-parallel-size 2 \
--distributed-executor-backend mp \
--master-addr $local_ip \
--master-port 7060 \
--nnodes 2 \
--node-rank 0 \
--tensor-parallel-size 16 \
--enable-expert-parallel \
--speculative-config '{"num_speculative_tokens": 1, "method":"deepseek_mtp","enforce_eager":true}' \
--hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 202752 \
--additional-config '{"fuse_muls_add":true, "recompute_scheduler_enable" : false, "multistream_overlap_shared_expert": true, "enable_dsa_cp":true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "c8_enable_reshape_optim":true}' \
--max-num-batched-tokens 16384 \
--trust-remote-code \
--enable-prefix-caching \
--max-num-seqs 64 \
--quantization ascend \
--gpu-memory-utilization 0.92 \
--enforce-eager \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "0",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 1, "pp_size": 2, "tp_size": 16, "pp_layer_partition": "41,37"},
"decode": {"dp_size": 8, "tp_size": 4}
}
}'
预填充节点 1(run_dp_template.sh):node_rank=1,以 --headless 模式运行的非主节点(无 API 服务器)。两个预填充节点组成单个 PP2 引擎,因此 --master-addr 指向预填充节点 0,KV 传输 engine_id 保持为 0。
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
node_p0_ip="xxxx" # ip of prefill node 0 (PP master node)
# pp=2
export VLLM_PP_LAYER_PARTITION="41,37"
node_rank=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=400
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--pipeline-parallel-size 2 \
--distributed-executor-backend mp \
--master-addr $node_p0_ip \
--master-port 7060 \
--nnodes 2 \
--node-rank 1 \
--headless \
--tensor-parallel-size 16 \
--enable-expert-parallel \
--speculative-config '{"num_speculative_tokens": 1, "method":"deepseek_mtp","enforce_eager":true}' \
--hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 202752 \
--additional-config '{"fuse_muls_add":true, "recompute_scheduler_enable" : false, "multistream_overlap_shared_expert": true, "enable_dsa_cp":true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "c8_enable_reshape_optim":true}' \
--max-num-batched-tokens 16384 \
--trust-remote-code \
--enable-prefix-caching \
--max-num-seqs 64 \
--quantization ascend \
--gpu-memory-utilization 0.92 \
--enforce-eager \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "0",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 1, "pp_size": 2, "tp_size": 16, "pp_layer_partition": "41,37"},
"decode": {"dp_size": 8, "tp_size": 4}
}
}'
解码节点 0(run_dp_template.sh):承载 DP rank 0–3。模板在节点上为每个 DP rank 启动一个实例;位置参数:$1 = 可见设备,$2 = 引擎端口,$3 = 数据并行大小,$4 = 数据并行 rank,$5 = 数据并行地址,$6 = 数据并行 RPC 端口,$7 = 张量并行大小。在解码节点 0 上准备包含以下内容的 run_dp_template.sh。
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
# Each DP rank uses an independent engine ID to avoid KV route confusion.
# $4 = data-parallel-rank. The rank offset within a node is 0 to 3, and the corresponding engine ID is 100 to 103.
ENGINE_ID=$((100 + $4))
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
#Mooncake
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=256
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export TASK_QUEUE_ENABLE=1
export ASCEND_RT_VISIBLE_DEVICES=$1
export VLLM_ASCEND_ENABLE_MLAPO=1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 202752 \
--max-num-batched-tokens 164 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp","enforce_eager":true}' \
--hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
--additional-config '{"fuse_muls_add":true, "recompute_scheduler_enable":true, "multistream_overlap_shared_expert":true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true}' \
--trust-remote-code \
--max-num-seqs 32 \
--gpu-memory-utilization 0.92 \
--async-scheduling \
--quantization ascend \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30200",
"engine_id": "'"$ENGINE_ID"'",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 1, "pp_size": 2, "tp_size": 16, "pp_layer_partition": "41,37"},
"decode": {"dp_size": 8, "tp_size": 4}
}
}'
解码节点 1(run_dp_template.sh):承载 DP rank 4–7。在解码节点 1 上准备包含以下内容的 run_dp_template.sh。
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
# Each DP rank uses an independent engine ID to avoid KV route confusion.
# $4 = data-parallel-rank. The rank offset within a node is 0 to 3, and the corresponding engine ID is 100 to 103.
ENGINE_ID=$((100 + $4))
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
#Mooncake
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=256
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export TASK_QUEUE_ENABLE=1
export ASCEND_RT_VISIBLE_DEVICES=$1
export VLLM_ASCEND_ENABLE_MLAPO=1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 202752 \
--max-num-batched-tokens 164 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--speculative-config '{"num_speculative_tokens": 3, "method":"deepseek_mtp","enforce_eager":true}' \
--hf-overrides '{"use_index_cache": true, "index_topk_freq": 4}' \
--additional-config '{"fuse_muls_add":true, "recompute_scheduler_enable":true, "multistream_overlap_shared_expert":true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true}' \
--trust-remote-code \
--max-num-seqs 32 \
--gpu-memory-utilization 0.92 \
--async-scheduling \
--quantization ascend \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30200",
"engine_id": "'"$ENGINE_ID"'",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 1, "pp_size": 2, "tp_size": 16, "pp_layer_partition": "41,37"},
"decode": {"dp_size": 8, "tp_size": 4}
}
}'
准备完成后,在每个节点上启动服务器:
Prefill节点0:
bash run_dp_template.shPrefill节点1:
bash run_dp_template.shDecode节点0:
# change ip to your own python launch_online_dp.py --dp-size 8 --tp-size 4 --pp-size 1 --dp-size-local 4 --dp-rank-start 0 --dp-address $node_d0_ip --dp-rpc-port 12321 --vllm-start-port 8000
Decode节点1:
# change ip to your own python launch_online_dp.py --dp-size 8 --tp-size 4 --pp-size 1 --dp-size-local 4 --dp-rank-start 4 --dp-address $node_d0_ip --dp-rpc-port 12321 --vllm-start-port 8000
要设置请求转发,请在任意机器上运行以下脚本。您可以在仓库的示例中找到代理程序:load_balance_proxy_server_example.py
unset http_proxy
unset https_proxy
python load_balance_proxy_server_example.py \
--port 9000 \
--host 0.0.0.0 \
--prefiller-hosts \
$node_p0_ip \
--prefiller-ports \
9081 \
--decoder-hosts \
$node_d0_ip \
$node_d0_ip \
$node_d0_ip \
$node_d0_ip \
$node_d1_ip \
$node_d1_ip \
$node_d1_ip \
$node_d1_ip \
--decoder-ports \
8000 8001 8002 8003 \
8000 8001 8002 8003
注意:
当使用前缀缓存命中率> 0进行测试时,在prefill节点上添加
--enable-prefix-caching(如上述脚本所示);当命中率为0时,改用--no-enable-prefix-caching。在此场景中,
"recompute_scheduler_enable"在prefill节点上设置为false,在decode节点上设置为true。
launch_online_dp.py 参数:
参数 |
类型 |
必填 |
默认值 |
说明 |
|---|---|---|---|---|
|
int |
是 |
- |
数据并行大小(所有节点上 DP rank 的总数)。 |
|
int |
否 |
1 |
每个 DP rank 内的张量并行大小。 |
|
int |
否 |
1 |
每个 DP rank 内的流水线并行大小。 |
|
int |
否 |
(与 |
当前节点上的 DP rank 数量。如果未设置,默认为 |
|
int |
否 |
0 |
此节点上数据并行 rank 的起始偏移量。 |
|
str |
是 |
- |
数据并行主节点(节点 0)的 IP 地址。 |
|
str |
否 |
12321 |
数据并行主节点通信的 RPC 端口。 |
|
int |
否 |
8000 |
此节点上每个 vLLM 引擎实例的起始端口。每个 DP rank 的引擎端口 = |
Prefill节点特定配置(PP2):
VLLM_PP_LAYER_PARTITION="41,37"/--pipeline-parallel-size 2/--node-rank:78层在2个prefill节点(PP2)上划分为41/37。在prefill节点0上设置node_rank=0,在prefill节点1上设置node_rank=1。VLLM_ASCEND_ENABLE_FLASHCOMM1=1:启用 FlashComm 优化以减少 prefill 节点上的通信和计算开销。启用 FlashComm 后,layer_sharding不能包含o_proj作为元素。VLLM_ASCEND_ENABLE_FUSED_MC2=1:启用dispatch_ffn_combine/mega_moe融合算子。注意:融合 MC2 与multistream_overlap_shared_expert存在冲突。ACL_OP_INIT_MODE=1/ASCEND_A3_ENABLE=1:针对 A3 的算子初始化和通信聚合优化。--speculative-config '{"num_speculative_tokens": 1, ...}':prefill 期间使用最小的 MTP 推测(decode 节点使用更高的数量,见下文)。--additional-config '{"recompute_scheduler_enable": false, ...}':在此场景中,prefill节点上禁用重计算调度器。
Decode 节点特定配置:
--max-num-batched-tokens 164:decode 节点上的较小批量 token 限制——decode 每步每个序列处理一个 token,因此批量 token 应接近max-num-seqs。--speculative-config '{"num_speculative_tokens": 3, ...}':decode节点上的MTP推测数量,以最大化解码吞吐量。--additional-config '{"recompute_scheduler_enable": true}':启用重计算调度器。当decode节点KV缓存不足时,请求被发送回prefill节点以重新计算KV缓存。
Mooncake KV 传输配置(--kv-transfer-config):
"kv_connector": "MooncakeConnectorV1":使用 Mooncake 作为 prefill 和 decode 节点之间的 KV 缓存传输连接器。"kv_role": "kv_producer"/"kv_consumer":prefill 节点上为kv_producer,decode 节点上为kv_consumer。"kv_port":Mooncake KV传输通信端口。为prefill(30000)和decode(30200)节点组使用不同的端口范围。"use_ascend_direct": true:为 KV 缓存启用 Ascend 直接传输,降低延迟。"prefill"/"decode"部分:分别指定prefill和decode节点组的并行度。这些必须与实际部署拓扑匹配(prefill: pp_size 2, tp_size 16, pp_layer_partition 41,37,decode: dp_size 8, tp_size 4)。
请求转发(代理):
代理命令将每个预填充引擎端点(1 个预填充器主机/端口)和每个解码引擎端点(8 个解码器主机/端口)映射到端口
9000上的单个入口点。代理程序可在 load_balance_proxy_server_example.py 中找到。
请参阅 envs.py 以了解上述环境变量的进一步说明和限制。
5.1.2 Atlas 800 A2#
5.1.2.1 多节点共置部署#
GLM-5.2-w4a8c8(实验性):可部署在2个Atlas 800 A2(64GB × 8)上。单个Atlas 800 A2节点(8 × 64GB)无法容纳w4a8c8权重,因此2节点部署是A2系列的最小配置。
节点0
# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="xxx"
# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=360000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=200
export HCCL_CONNECT_TIMEOUT=120
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export ACL_OP_INIT_MODE=1
#export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
#export USE_MULTI_GROUPS_KV_CACHE=1
#export USE_MULTI_BLOCK_POOL=1
export TASK_QUEUE_ENABLE=1
export CPU_AFFINITY_CONF=1
export VLLM_ENGINE_READY_TIMEOUT_S=1200
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w4a8c8 \
--max_model_len 40000 \
--max-num-batched-tokens 4096 \
--served-model-name glm-52 \
--seed 1024 \
--gpu-memory-utilization 0.95 \
--api-server-count 1 \
--max-num-seqs 16 \
--data-parallel-size 2 \
--data-parallel-size-local 1 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 13389 \
--tensor-parallel-size 8 \
--enable-expert-parallel \
--quantization ascend \
--port 7000 \
--safetensors-load-strategy 'prefetch' \
--block-size 128 \
--async-scheduling \
--additional-config '{"multistream_overlap_shared_expert": true}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'
节点1
# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxx"
local_ip="xxx"
# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=360000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=200
export HCCL_CONNECT_TIMEOUT=120
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export ACL_OP_INIT_MODE=1
#export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
#export USE_MULTI_GROUPS_KV_CACHE=1
#export USE_MULTI_BLOCK_POOL=1
export TASK_QUEUE_ENABLE=1
export CPU_AFFINITY_CONF=1
export VLLM_ENGINE_READY_TIMEOUT_S=1200
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w4a8c8 \
--max_model_len 40000 \
--max-num-batched-tokens 4096 \
--served-model-name glm-52 \
--seed 1024 \
--gpu-memory-utilization 0.95 \
--max-num-seqs 16 \
--headless \
--data-parallel-size 2 \
--data-parallel-size-local 1 \
--data-parallel-start-rank 1 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 13389 \
--tensor-parallel-size 8 \
--enable-expert-parallel \
--quantization ascend \
--port 7000 \
--safetensors-load-strategy 'prefetch' \
--block-size 128 \
--async-scheduling \
--additional-config '{"multistream_overlap_shared_expert": true}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp", "enforce_eager": true}'
A2 系列使用与 A3 不同的优化栈:此处不使用 FlashComm1 和 DSA-CP。
A2 专用环境变量:
CPU_AFFINITY_CONF=1:为工作进程启用 CPU 核心亲和性绑定。ACL_OP_INIT_MODE=1:ACL 算子初始化模式,用于加速算子编译。VLLM_RPC_TIMEOUT=360000/VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=3000/HCCL_EXEC_TIMEOUT=200/HCCL_CONNECT_TIMEOUT=120/VLLM_ENGINE_READY_TIMEOUT_S=1200:在较慢的 A2 平台上用于多节点启动和模型执行的超时设置。如果引擎无法及时就绪,请增大这些值。
5.1.2.2 预填充-解码分离#
在 Atlas 800 A2 上,每个节点提供 8 张卡,相同的全局 P/D 拓扑(预填充 DP4 TP8,解码 DP8 TP4)分布在 8 个节点上:4 个预填充节点各承载 1 个 DP rank(每个 rank 8 张卡),4 个解码节点各承载 2 个 DP rank(每个 rank 4 张卡)。上述 launch_online_dp.py 原样复用。预填充侧启用 FlashComm1 和 DSA CP;解码侧启用 MLAPO 和带有 FULL_DECODE_ONLY 图的 DYNAMIC_EPLB。两侧均启用前缀缓存和 MTP(预填充侧 num_speculative_tokens=1,解码侧为 3)。以下所有 IP、网卡名称、端口和权重路径均为占位符。
注意: GLM-5.2-w4a8c8 是实验性功能,在预填充-解码(PD)分离场景中存在已知的精度问题(参见模型权重)。
有关 KV 缓存池(Ascend Store)的启动方法和 Mooncake 配置文件,请参阅 KV 缓存池(Ascend Store)部署指南。
预填充节点的 run_dp_template.sh:
#!/usr/bin/bash
nic_name="<NIC_NAME>"
local_ip="<CURRENT_NODE_IP>"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_MLAPO=1
export HCCL_BUFFSIZE=256
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_USE_V1=1
export ASCEND_RT_VISIBLE_DEVICES=$1
export LD_LIBRARY_PATH=/usr/local/python3.11.10/lib:/usr/local/lib:$LD_LIBRARY_PATH
export ASCEND_AGGREGATE_ENABLE=1
export ASCEND_TRANSPORT_PRINT=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export PYTHONHASHSEED=0
export MOONCAKE_CONFIG_PATH=<MOONCAKE_CONFIG_PATH>
export HCCL_INTRA_ROCE_ENABLE=1
export ACL_OP_INIT_MODE=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w4a8c8 \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--enable-prefix-caching \
--seed 1024 \
--enable-chunked-prefill \
--served-model-name glm-5 \
--async-scheduling \
--max-model-len 256000 \
--max-num-batched-tokens 8192 \
--trust-remote-code \
--max-num-seqs 256 \
--gpu-memory-utilization 0.95 \
--safetensors-load-strategy prefetch \
--quantization ascend \
--enforce-eager \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{
"kv_connector": "MultiConnector",
"kv_role": "kv_producer",
"kv_load_failure_policy": "recompute",
"kv_connector_extra_config": {
"connectors": [
{
"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"kv_connector_extra_config": {
"prefill": {
"dp_size": 4,
"tp_size": 8
},
"decode": {
"dp_size": 8,
"tp_size": 4
}
}
},
{
"kv_connector": "AscendStoreConnector",
"kv_role": "kv_producer",
"kv_connector_extra_config": {
"lookup_rpc_port":"0",
"backend": "mooncake"
}
}
]
}
}' \
--additional-config '{"enable_flashcomm1": true, "enable_dsa_cp": true, "ascend_compilation_config": {"enable_npugraph_ex": true}, "multistream_overlap_shared_expert": true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "enable_cpu_binding": true}' \
--speculative-config '{"num_speculative_tokens": 1, "method":"deepseek_mtp", "enforce_eager":true}'
解码节点的 run_dp_template.sh:
#!/usr/bin/bash
nic_name="<NIC_NAME>"
local_ip="<CURRENT_NODE_IP>"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_HOST_IP=$local_ip
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_MLAPO=1
export HCCL_BUFFSIZE=2560
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"
export VLLM_USE_V1=1
export ASCEND_RT_VISIBLE_DEVICES=$1
export LD_LIBRARY_PATH=/usr/local/python3.11.10/lib:/usr/local/lib:$LD_LIBRARY_PATH
export PYTHONHASHSEED=0
export MOONCAKE_CONFIG_PATH=<MOONCAKE_CONFIG_PATH>
export HCCL_INTRA_ROCE_ENABLE=1
export ACL_OP_INIT_MODE=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w4a8c8 \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--enable-prefix-caching \
--seed 1024 \
--served-model-name glm-5 \
--async-scheduling \
--max-model-len 256000 \
--max-num-batched-tokens 768 \
--trust-remote-code \
--max-num-seqs 128 \
--gpu-memory-utilization 0.95 \
--safetensors-load-strategy prefetch \
--quantization ascend \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{
"kv_connector": "MultiConnector",
"kv_role": "kv_consumer",
"kv_load_failure_policy": "recompute",
"kv_connector_extra_config": {
"connectors": [
{
"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30100",
"kv_connector_extra_config": {
"prefill": {
"dp_size": 4,
"tp_size": 8
},
"decode": {
"dp_size": 8,
"tp_size": 4
}
}
},
{
"kv_connector": "AscendStoreConnector",
"kv_role": "kv_consumer",
"kv_connector_extra_config": {
"lookup_rpc_port":"0",
"load_async": true,
"backend": "mooncake"
}
}
]
}
}' \
--compilation-config \
'{
"cudagraph_mode": "FULL_DECODE_ONLY",
"cudagraph_capture_sizes": [4,8,16,24,32,40,48,56,64,96,128,160,192,224,256,298,320,352,384]
}' \
--additional-config '{"ascend_compilation_config": {"enable_npugraph_ex": true}, "multistream_overlap_shared_expert": true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "enable_cpu_binding": true, "recompute_scheduler_enable": true}' \
--speculative-config '{"num_speculative_tokens": 5, "method":"deepseek_mtp", "enforce_eager":true}'
准备工作完成后,使用以下命令启动服务:
预填充节点 — 在
$node_p0_ip、$node_p1_ip、$node_p2_ip、$node_p3_ip上运行,并指定--dp-rank-start为0/1/2/3:python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 1 --dp-rank-start 0 --dp-address $node_p0_ip --dp-rpc-port 16591 --vllm-start-port 9081 python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 1 --dp-rank-start 1 --dp-address $node_p0_ip --dp-rpc-port 16591 --vllm-start-port 9081 python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 1 --dp-rank-start 2 --dp-address $node_p0_ip --dp-rpc-port 16591 --vllm-start-port 9081 python launch_online_dp.py --dp-size 4 --tp-size 8 --dp-size-local 1 --dp-rank-start 3 --dp-address $node_p0_ip --dp-rpc-port 16591 --vllm-start-port 9081
解码节点 — 在
$node_d0_ip、$node_d1_ip、$node_d2_ip、$node_d3_ip上运行,使用--dp-rank-start参数0/2/4/6:python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 2 --dp-rank-start 0 --dp-address $node_d0_ip --dp-rpc-port 16600 --vllm-start-port 9900 python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 2 --dp-rank-start 2 --dp-address $node_d0_ip --dp-rpc-port 16600 --vllm-start-port 9900 python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 2 --dp-rank-start 4 --dp-address $node_d0_ip --dp-rpc-port 16600 --vllm-start-port 9900 python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 2 --dp-rank-start 6 --dp-address $node_d0_ip --dp-rpc-port 16600 --vllm-start-port 9900
对于此8节点A2布局的请求转发,请在下面的请求转发命令中使用4个预填充主机(每个1个端点)和4个解码主机(每个2个端点)。
要设置请求转发,请在任意机器上运行以下脚本。您可以在仓库的示例中找到代理程序:load_balance_proxy_server_example.py
unset http_proxy
unset https_proxy
python load_balance_proxy_server_example.py \
--port 8000 \
--host 0.0.0.0 \
--prefiller-hosts \
$node_p0_ip \
$node_p1_ip \
$node_p2_ip \
$node_p3_ip \
--prefiller-ports \
9081 9081 \
9081 9081 \
--decoder-hosts \
$node_d0_ip \
$node_d0_ip \
$node_d1_ip \
$node_d1_ip \
$node_d2_ip \
$node_d2_ip \
$node_d3_ip \
$node_d3_ip \
--decoder-ports \
9900 9901 9900 9901 \
9900 9901 9900 9901
关键参数说明(除 预填充-解码分离 中所述之外):
此 8 节点 A2 布局将全局 P/D 拓扑分布在 8 台 Atlas 800 A2 节点上:4 个预填充节点各承载 1 个 DP rank(每个 rank 8 张卡,DP4 TP8),4 个解码节点各承载 2 个 DP rank(每个 rank 4 张卡,DP8 TP4)。launch_online_dp.py 脚本与 预填充-解码分离 中的相同。
预填充节点专用配置(A2):
--additional-config '{"enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, ...}':在此场景中启用了两种SFA C8优化。
解码节点专用配置(A2):
VLLM_ASCEND_ENABLE_MLAPO=1:在解码节点上启用 MLAPO 融合,用于内存带宽受限的 token 生成。--max-num-batched-tokens 256:解码节点上的小批量 token 限制。
多连接器 KV 传输配置(--kv-transfer-config):
"kv_connector": "MultiConnector":组合多个 KV 传输连接器。MooncakeConnectorV1:预填充和解码节点之间的 Mooncake KV 缓存传输(与 预填充-解码分离 中的角色相同)。AscendStoreConnector:KV 缓存池(Ascend Store)连接器,自 v0.23.0 起可用——参见 KV 缓存池(Ascend Store)部署指南。"kv_load_failure_policy": "recompute":当 KV 块从 KV 池加载失败时,请求回退到重计算而不是失败。"load_async": true(解码侧):在解码节点上从池中异步加载 KV 缓存。"backend": "mooncake":连接器使用的 Ascend Store 后端。
A2 PD 场景的环境变量:
VLLM_USE_V1=1:强制使用 v1 调度器。ASCEND_AGGREGATE_ENABLE=1/ASCEND_TRANSPORT_PRINT=1:通信聚合和传输调试打印。PYTHONHASHSEED=0:用于可复现分布式调度的固定哈希种子。MOONCAKE_CONFIG_PATH="/mnt/share/scripts/mooncake.json":Mooncake 配置文件的路径(必须存在于每个节点上)。HCCL_INTRA_ROCE_ENABLE=1:启用通过 RoCE 的 HCCL 节点内通信。ACL_OP_INIT_MODE=1:ACL 算子初始化模式。VLLM_HOST_IP=$local_ip:解码引擎为跨节点通信通告的主机 IP。
请参阅 envs.py 以了解上述环境变量的进一步说明和限制。
5.2 1M 上下文部署#
1M 上下文场景仅在 Atlas 800 A3 上验证;A2 系列未针对 1M 上下文进行验证。
警告
对于GLM-5.2的稀疏Flash注意力(SFA)后端,在PD分离中使用DCP时,请在预填充节点和解码节点上同时启用或同时禁用DCP。仅在一侧启用DCP可能会导致已知的精度问题。
DCP和Sparse Flash Attention C8(enable_sparse_sfa_c8,也称为sfa_c8)根据权重版本具有不同的行为:
GLM-5.2-w8a8c8:它们可以同时启用——本文档中的参考w8a8c8配置同时启用了两者。GLM-5.2-w4a8c8:在 v0.23.0 中同时启用它们存在已知问题,包括性能下降,不建议这样做。
5.2.1 双节点共置 1M 部署#
GLM-5.2-w8a8c8(1M 上下文,双节点共置):
GLM-5.2-w8a8c8 1M 共置部署在 2 个 Atlas 800 A3(128GB × 8)上(DP8 TP4,每节点 4 个 DP rank,解码上下文并行度 4)。
分别在两个节点上运行以下脚本。
节点0
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=400
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port 8077 \
--api-server-count 1 \
--data-parallel-size 8 \
--data-parallel-start-rank 0 \
--data-parallel-size-local 4 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 12980 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--prefill-context-parallel-size 1 \
--decode-context-parallel-size 4 \
--cp-kv-cache-interleave-size 128 \
--seed 1024 \
--served-model-name glm-5 \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--enable-auto-tool-choice \
--max-num-seqs 6 \
--max-model-len 1048576 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.92 \
--quantization ascend \
--enable-chunked-prefill \
--enable-prefix-caching \
--async-scheduling \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--additional-config '{"enable_dsa_cp": true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "enable_balance_scheduling": true, "fuse_muls_add": true}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp","enforce_eager":true}'
节点1
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=400
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export VLLM_ASCEND_ENABLE_MLAPO=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port 8077 \
--headless \
--data-parallel-size 8 \
--data-parallel-start-rank 4 \
--data-parallel-size-local 4 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 12980 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--prefill-context-parallel-size 1 \
--decode-context-parallel-size 4 \
--cp-kv-cache-interleave-size 128 \
--seed 1024 \
--served-model-name glm-5 \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--enable-auto-tool-choice \
--max-num-seqs 6 \
--max-model-len 1048576 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.92 \
--quantization ascend \
--enable-chunked-prefill \
--enable-prefix-caching \
--async-scheduling \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--additional-config '{"enable_dsa_cp": true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "enable_balance_scheduling": true, "fuse_muls_add": true}' \
--speculative-config '{"num_speculative_tokens": 3, "method": "deepseek_mtp","enforce_eager":true}'
注意:
VLLM_ASCEND_ENABLE_FUSED_MC2=1与"multistream_overlap_shared_expert": true冲突——启用fused MC2时,运行时自动禁用multistream_overlap_shared_expert。当使用前缀缓存命中率> 0进行测试时,保留
--enable-prefix-caching(如上述脚本所示);当命中率为0时,将其替换为--no-enable-prefix-caching。
5.2.2 PD 分离 1M 部署#
GLM-5.2-w8a8c8(1M 上下文,PD 分离):
GLM-5.2-w8a8c8 1M PD 分离可部署在 4 个 Atlas 800 A3(128GB × 8)上:2 个预填充节点(DP2 TP16,每节点 1 个 DP rank,解码上下文并行度 16)和 2 个解码节点(DP8 TP4,每节点 4 个 DP rank,解码上下文并行度 4)。
Prefill 节点 0(run_dp_template.sh):DP rank 0,引擎端口 9081。node_p0_ip 的值必须与 prefill 节点 0(DP 主节点)上设置的 local_ip 保持一致。
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
node_p0_ip="xxxx" # ip of prefill node 0 (DP master node)
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=400
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port 9081 \
--data-parallel-size 2 \
--data-parallel-rank 0 \
--data-parallel-address $node_p0_ip \
--data-parallel-rpc-port 16600 \
--tensor-parallel-size 16 \
--enable-expert-parallel \
--prefill-context-parallel-size 1 \
--decode-context-parallel-size 16 \
--cp-kv-cache-interleave-size 128 \
--speculative-config '{"num_speculative_tokens": 1, "method":"deepseek_mtp","enforce_eager":true}' \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 1048576 \
--additional-config '{"fuse_muls_add":true, "recompute_scheduler_enable" : false, "multistream_overlap_shared_expert": true, "enable_dsa_cp":true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "c8_enable_reshape_optim":true}' \
--max-num-batched-tokens 8192 \
--trust-remote-code \
--enable-prefix-caching \
--max-num-seqs 64 \
--quantization ascend \
--gpu-memory-utilization 0.9 \
--enforce-eager \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "0",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 2, "tp_size": 16},
"decode": {"dp_size": 8, "tp_size": 4}
}
}'
Prefill 节点 1(run_dp_template.sh):DP rank 1,引擎端口 9082。--data-parallel-address 仍指向 prefill 节点 0(DP 主节点)。
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
node_p0_ip="xxxx" # ip of prefill node 0 (DP master node)
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=400
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port 9082 \
--data-parallel-size 2 \
--data-parallel-rank 1 \
--data-parallel-address $node_p0_ip \
--data-parallel-rpc-port 16600 \
--tensor-parallel-size 16 \
--enable-expert-parallel \
--prefill-context-parallel-size 1 \
--decode-context-parallel-size 16 \
--cp-kv-cache-interleave-size 128 \
--speculative-config '{"num_speculative_tokens": 1, "method":"deepseek_mtp","enforce_eager":true}' \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 1048576 \
--additional-config '{"fuse_muls_add":true, "recompute_scheduler_enable" : false, "multistream_overlap_shared_expert": true, "enable_dsa_cp":true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true, "c8_enable_reshape_optim":true}' \
--max-num-batched-tokens 8192 \
--trust-remote-code \
--enable-prefix-caching \
--max-num-seqs 64 \
--quantization ascend \
--gpu-memory-utilization 0.9 \
--enforce-eager \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "0",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 2, "tp_size": 16},
"decode": {"dp_size": 8, "tp_size": 4}
}
}'
解码节点 0(run_dp_template.sh):承载 DP rank 0–3。在解码节点 0 上准备包含以下内容的 run_dp_template.sh 和 launch_online_dp.py(参见预填充-解码分离)。
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
#Mooncake
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=400
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export TASK_QUEUE_ENABLE=1
export ASCEND_RT_VISIBLE_DEVICES=$1
export VLLM_ASCEND_ENABLE_MLAPO=1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--prefill-context-parallel-size 1 \
--decode-context-parallel-size 4 \
--cp-kv-cache-interleave-size 128 \
--speculative-config '{"num_speculative_tokens": 5, "method":"deepseek_mtp","enforce_eager":true}' \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 1048576 \
--additional-config '{"fuse_muls_add":true, "recompute_scheduler_enable":true, "multistream_overlap_shared_expert":true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true}' \
--max-num-batched-tokens 192 \
--trust-remote-code \
--max-num-seqs 32 \
--quantization ascend \
--gpu-memory-utilization 0.92 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--async-scheduling \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30200",
"engine_id": "2",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 2, "tp_size": 16},
"decode": {"dp_size": 8, "tp_size": 4}
}
}'
解码节点 1(run_dp_template.sh):承载 DP rank 4–7。在解码节点 1 上准备包含以下内容的 run_dp_template.sh 和 launch_online_dp.py(参见预填充-解码分离)。
nic_name="xxxx" # change to your own nic name
local_ip="xxxx" # change to your own ip
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export HCCL_TRANSFER_TIMEOUT=600
export HCCL_EXEC_TIMEOUT=3600
export HCCL_CONNECT_TIMEOUT=3600
#Mooncake
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=400
export ACL_OP_INIT_MODE=1
export ASCEND_A3_ENABLE=1
export TASK_QUEUE_ENABLE=1
export ASCEND_RT_VISIBLE_DEVICES=$1
export VLLM_ASCEND_ENABLE_MLAPO=1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
vllm serve /root/.cache/modelscope/hub/models/vllm-ascend/GLM-5.2-w8a8c8 \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--prefill-context-parallel-size 1 \
--decode-context-parallel-size 4 \
--cp-kv-cache-interleave-size 128 \
--speculative-config '{"num_speculative_tokens": 5, "method":"deepseek_mtp","enforce_eager":true}' \
--seed 1024 \
--served-model-name glm-5 \
--max-model-len 1048576 \
--additional-config '{"fuse_muls_add":true, "recompute_scheduler_enable":true, "multistream_overlap_shared_expert":true, "enable_sparse_sfa_c8": true, "enable_sparse_li_c8": true}' \
--max-num-batched-tokens 192 \
--trust-remote-code \
--max-num-seqs 32 \
--quantization ascend \
--gpu-memory-utilization 0.92 \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--async-scheduling \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--kv-transfer-config \
'{"kv_connector": "MooncakeConnectorV1",
"kv_role": "kv_consumer",
"kv_port": "30200",
"engine_id": "2",
"kv_connector_extra_config": {
"use_ascend_direct": true,
"prefill": {"dp_size": 2, "tp_size": 16},
"decode": {"dp_size": 8, "tp_size": 4}
}
}'
准备完成后,在每个节点上启动服务器:
Prefill 节点 0:运行上述脚本(DP rank 0,端口
9081)。Prefill 节点 1:运行上述脚本(DP rank 1,端口
9082)。Decode节点0:
# change ip to your own python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address $node_d0_ip --dp-rpc-port 16600 --vllm-start-port 9900
Decode节点1:
# change ip to your own python launch_online_dp.py --dp-size 8 --tp-size 4 --dp-size-local 4 --dp-rank-start 4 --dp-address $node_d0_ip --dp-rpc-port 16600 --vllm-start-port 9900
要设置请求转发,请在任意机器上运行以下脚本。您可以在仓库的示例中找到代理程序:load_balance_proxy_server_example.py
unset http_proxy
unset https_proxy
python load_balance_proxy_server_example.py \
--port 8000 \
--host 0.0.0.0 \
--prefiller-hosts \
$node_p0_ip \
$node_p1_ip \
--prefiller-ports \
9081 \
9082 \
--decoder-hosts \
$node_d0_ip \
$node_d0_ip \
$node_d0_ip \
$node_d0_ip \
$node_d1_ip \
$node_d1_ip \
$node_d1_ip \
$node_d1_ip \
--decoder-ports \
9900 9901 9902 9903 \
9900 9901 9902 9903
注意:
当使用前缀缓存命中率> 0进行测试时,在prefill节点上添加
--enable-prefix-caching(如上述脚本所示);当命中率为0时,改用--no-enable-prefix-caching。在此场景中,
"recompute_scheduler_enable"在prefill节点上设置为false,在decode节点上设置为true。
关键参数说明(除 Prefill-Decode 分离 和 双节点共置 1M 部署 之外):
Prefill 节点(1M):
--prefill-context-parallel-size 1/--decode-context-parallel-size 16/--cp-kv-cache-interleave-size 128:1M 场景解码阶段的解码上下文并行度为 16。--additional-config '{"recompute_scheduler_enable": false, ...}':在此场景中,prefill节点上禁用重计算调度器。--kv-transfer-config:Mooncake 连接器作为kv_producer,配置为prefill: dp2 tp16/decode: dp8 tp4。
Decode 节点(1M):
--decode-context-parallel-size 4/--cp-kv-cache-interleave-size 128:每个 decode 节点的解码上下文并行度为 4。--max-num-batched-tokens 192:Decode 节点存储从 prefill 节点接收的大型 1M KV 缓存。--kv-transfer-config:Mooncake 连接器作为kv_consumer(kv_port: 30200)。
6 功能验证#
服务器启动后,您可以使用输入提示查询模型:
curl http://<node0_ip>:<port>/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "glm-52",
"prompt": "The future of AI is",
"max_completion_tokens": 50,
"temperature": 0
}'
7 精度评估#
以下是两种精度评估方法。
7.1 使用 AISBench#
详情请参考使用AISBench。
执行后,您可以获取结果。
7.2 使用 Language Model Evaluation Harness#
尚未测试。
8 性能评估#
8.1 使用 AISBench#
详情请参考使用AISBench进行性能评估。
8.2 使用 vLLM Benchmark#
更多详细信息请参考 vllm benchmark。
9 性能调优#
9.1 推荐配置#
注意:以下配置已在特定测试环境中验证,仅供参考。最佳配置取决于最大输入/输出长度、前缀缓存命中率、精度要求和部署机器比例等因素。建议根据实际条件参考调优指南进行调优。
下表提供了不同部署场景的推荐参数配置。所有场景按用例分类(高吞吐、低延迟、长上下文),并对应 部署 中记录的部署模式。
9.1.1 表 1:详细节点配置#
TP/DP 列显示部署脚本中配置的每节点值(承载 1 个 TP16 DP rank 的 prefill 节点使用 16 个 NPU;承载 4 个 TP4 DP rank 的 decode 节点使用 16 个 NPU)。198K PD 场景的 prefill 端使用
PP2 TP16,层分区为41,37。所有场景均使用GLM-5.2-w8a8c8权重。当使用前缀缓存命中率 > 0 进行测试时,保留
--enable-prefix-caching(如部署脚本中所示);当命中率为 0 时,将其替换为--no-enable-prefix-caching。
场景 |
权重版本 |
配置 |
NPU 数量 |
TP |
DP |
最大序列数 |
最大批处理 Token 数 |
最大模型长度 |
MTP 推测数量 |
|---|---|---|---|---|---|---|---|---|---|
双节点共置 198K 高吞吐(A3) |
w8a8c8 |
双节点共置节点(0/1) |
16 |
4 |
4 |
6 |
4096 |
202752 |
3 |
PD 198K 高吞吐(A3) |
w8a8c8 |
PD — Server-P 节点(PP2) |
16 |
16 |
1 |
64 |
16384 |
202752 |
1 |
PD 198K 高吞吐(A3) |
w8a8c8 |
PD — Server-D 节点 |
16 |
4 |
4 |
32 |
164 |
202752 |
3 |
双节点共置 1M 长上下文(A3) |
w8a8c8 |
双节点共置节点(0/1) |
16 |
4 |
4 |
6 |
4096 |
1048576 |
3 |
PD 1M 长上下文(A3) |
w8a8c8 |
PD — Server-P 节点 |
16 |
16 |
1 |
64 |
8192 |
1048576 |
1 |
PD 1M 长上下文(A3) |
w8a8c8 |
PD — Server-D 节点 |
16 |
4 |
4 |
32 |
192 |
1048576 |
5 |
9.1.2 表 2:需要显式启用的优化#
以下优化必须显式启用才能生效。它们适用于 A3 系列(w8a8c8)或 A2 系列(w4a8c8),具体如下所示:
优化项 |
场景 |
启用方式 |
原理(收益) |
备注 |
|---|---|---|---|---|
FlashComm_v1 |
A3 prefill 节点 / 共置节点 |
|
将 AllReduce 拆分为 Reduce-Scatter 和 All-Gather,提升 prefill 吞吐量并降低通信延迟 |
当 |
Fused MC2 |
A3 prefill 节点 |
|
使用 |
|
MLAPO |
A3 共置 / PD decode 节点;A2 P/D 节点 |
|
融合 MLA 预处理操作,显著提升解码性能 |
消耗更多 NPU 内存;在 PD 场景中仅需在 decode 节点上启用 |
DSA CP |
A3 prefill 节点;长上下文(≥128K) |
|
DSA上下文并行加速长上下文预填充,降低长提示的TTFT |
在参考配置中,在共置节点和PD预填充节点上启用;PD解码节点改用解码上下文并行 |
均衡调度 |
A3单节点/共置/非PD场景 |
|
在v1调度器中提升输出吞吐量并降低TPOT |
TTFT可能下降;在预填充-解码分离时不推荐使用 |
稀疏SFA C8 |
A3(w8a8c8);长上下文预填充 |
|
稀疏Flash Attention跳过C8量化模型中不必要的注意力计算,加速长上下文预填充 |
v0.23.0中为实验性功能。在w8a8c8权重上可与DCP/上下文并行结合使用(如本文档中的参考配置);在w4a8c8权重上同时启用两者存在已知问题,不推荐使用 |
稀疏LI C8 |
A3(w8a8c8) |
|
稀疏注意力优化减少C8量化模型的计算量,提升吞吐量 |
与 |
重计算调度器 |
A3解码节点 |
|
当解码KV缓存不足时在预填充节点上重计算KV缓存,避免解码端内存溢出并提升吞吐量 |
在预填充节点上设置为 |
多流重叠共享专家 |
A3 |
|
在额外的流上重叠共享专家计算,隐藏其延迟并提升解码性能 |
当 |
有关完整的启动命令和详细的参数说明,请参阅部署中的部署示例和关键参数说明。
9.2 调优指南#
有关通用性能调优方法,请参阅公开性能调优文档。
有关详细的功能描述和配置选项,请参阅功能指南。
有关环境变量的说明和约束,请参阅envs.py。
10 常见问题#
问:如何为GLM-5.2启用函数调用?
答:请在vLLM启动命令中添加以下配置
--tool-call-parser glm47 \ --reasoning-parser glm45 \ --enable-auto-tool-choice \