首页

vLLM Ascend 插件

Star Watch Fork

vLLM Ascend plugin (vllm-ascend) is a community-maintained hardware plugin for running vLLM on the Huawei Ascend NPU.

该插件是 vLLM 社区内支持 Ascend 后端的推荐方式。它遵循 [RFC]: 硬件可插拔 中概述的原则，提供了一个硬件可插拔接口，将 Ascend NPU 与 vLLM 的集成解耦。

通过使用vLLM Ascend插件，流行的开源模型，包括Transformer类、混合专家、嵌入和多模态LLM，可以在Ascend NPU上无缝运行。

欢迎来到DeepWiki，这是一个由社区和AI共同维护的动态知识库，旨在为您提供超越传统文档的更深层次技术见解。如果说官方文档是帮助您上手的“快速入门”指南，那么DeepWiki就是您实现“深入理解”的技术伙伴。在这里，您可以探索：核心架构与设计原理、关键源代码解读、技术背景以及决策逻辑。