使用MindIE-Motor部署vLLM-Ascend¶
1.概述¶
MindIE-Motor为Ascend NPU上的vLLM-Ascend提供**prefill–decode (PD)分离**和**PD聚合**的一键部署。它采用**高性能调度和负载均衡**,结合**RAS(可靠性、可用性和可服务性)能力**,构建快速且高度稳定的推理服务。
2.快速开始¶
快速部署说明请参考MindIE-Motor快速开始。
MindIE-Motor为Ascend NPU上的vLLM-Ascend提供**prefill–decode (PD)分离**和**PD聚合**的一键部署。它采用**高性能调度和负载均衡**,结合**RAS(可靠性、可用性和可服务性)能力**,构建快速且高度稳定的推理服务。
快速部署说明请参考MindIE-Motor快速开始。