用户指南

本节提供了在生产环境中使用 vLLM Ascend 的全面文档。

支持矩阵

• 支持的模型 — vLLM Ascend 支持的模型
• 支持的功能 — Ascend NPU 支持的功能
• 功能矩阵 — 跨硬件版本的功能兼容性

配置

• 环境变量 — 通过环境变量配置 vLLM Ascend
• 附加配置 — 额外的配置选项

功能指南

浏览 vLLM Ascend 功能的详细指南，包括图模式、CPU 绑定、量化、休眠模式、结构化输出、LoRA、专家并行负载均衡等。

部署指南

• 使用 Volcano Kthena — 使用 Volcano Kthena 部署
• 使用 MindIE Motor — 使用 MindIE Motor 部署

发布说明

• 发布说明 — 最新发布信息