概览

欢迎使用 vLLM Ascend 插件！本节将帮助您快速上手。

快速导航

• 快速开始 — 通过一个最小示例快速入门
• 安装 — 安装 vLLM 与 vLLM Ascend
• 模型教程 — 运行特定模型的分步指南
• 功能教程 — 探索高级功能，如 PD 分离、上下文并行等
• 硬件教程 — 硬件相关指南
• 常见问题 — 常见问题解答

什么是 vLLM Ascend？

vLLM Ascend 插件（vllm-ascend）是一个由社区维护的硬件插件，用于在 Ascend NPU 上运行 vLLM。它提供了一个硬件可插拔接口，将 Ascend NPU 与 vLLM 的集成解耦，使流行的开源模型能够在 Ascend 硬件上无缝运行。