首页
vLLM Ascend 插件
vLLM Ascend 插件 (vllm-ascend) 是一个由社区维护的硬件插件，用于在 Ascend NPU 上运行 vLLM。
该插件是 vLLM 社区内支持 Ascend 后端的推荐方式。它遵循 [RFC]: 硬件可插拔 中概述的原则，提供了一个硬件可插拔接口，将 Ascend NPU 与 vLLM 的集成解耦。
通过使用 vLLM Ascend 插件，流行的开源模型，包括 Transformer 类、混合专家、嵌入、多模态大语言模型，可以在 Ascend NPU 上无缝运行。