使用MindIE-Motor部署vLLM-Ascend#
1.概述#
MindIE-Motor在Ascend NPU上为vLLM-Ascend提供一键部署预填充-解码(PD)分离和PD聚合功能。它利用高性能调度与负载均衡,结合RAS(可靠性、可用性和可服务性)能力,构建快速且高度稳定的推理服务。
2.快速开始#
有关快速部署说明,请参阅MindIE-Motor快速开始。
MindIE-Motor在Ascend NPU上为vLLM-Ascend提供一键部署预填充-解码(PD)分离和PD聚合功能。它利用高性能调度与负载均衡,结合RAS(可靠性、可用性和可服务性)能力,构建快速且高度稳定的推理服务。
有关快速部署说明,请参阅MindIE-Motor快速开始。