快速入门

欢迎使用 vLLM Ascend 插件！本节将帮助您快速上手并运行。

快速导航

• 快速开始 — 通过一个最小示例快速上手
• 安装指南 — 安装 vLLM 和 vLLM Ascend
• 模型教程 — 运行特定模型的分步指南
• 功能教程 — 探索 PD 分离、上下文并行等高级功能
• 硬件教程 — 硬件相关指南
• 常见问题 — 常见问题解答

什么是 vLLM Ascend？

vLLM Ascend 插件（vllm-ascend）是一个由社区维护的硬件插件，用于在昇腾 NPU 上运行 vLLM。它提供了硬件可插拔接口，将昇腾 NPU 与 vLLM 的集成解耦，使得流行的开源模型能够在昇腾硬件上无缝运行。