欢迎使用 vLLM Ascend 插件#
vLLM Ascend Plugin
vLLM Ascend 插件（vllm-ascend）是一个由社区维护的硬件插件，用于在 Ascend NPU 上运行 vLLM。
该插件是 vLLM 社区内支持 Ascend 后端的推荐方案。它遵循 [RFC]: Hardware pluggable 中概述的原则，提供了一个硬件可插拔接口，将 Ascend NPU 与 vLLM 的集成解耦。
通过使用 vLLM Ascend 插件，包括类 Transformer、混合专家（MoE）、嵌入和多模态大语言模型在内的流行开源模型，均可在 Ascend NPU 上无缝运行。