使用MindIE-Motor部署vLLM-Ascend

使用MindIE-Motor部署vLLM-Ascend#

1.概述#

MindIE-Motor在Ascend NPU上为vLLM-Ascend提供一键部署预填充-解码(PD)分离PD聚合功能。它利用高性能调度与负载均衡,结合RAS(可靠性、可用性和可服务性)能力,构建快速且高度稳定的推理服务。

2.快速开始#

有关快速部署说明,请参阅MindIE-Motor快速开始