支持的功能¶
vLLM Ascend 的功能支持原则是:与 vLLM 保持一致。我们也在积极与社区合作,加速支持。
功能调用:https://docs.vllm.ai/en/latest/features/tool_calling/
您可以查看 vLLM V1 引擎的支持状态。以下是 vLLM Ascend 的功能支持状态:
| 功能特性 | 状态 | 下一步计划 |
|---|---|---|
| 分块预填充 | 🟢 功能正常 | 功能正常,详见:分块预填充 |
| 自动前缀缓存 | 🟢 功能正常 | 功能正常,详见:vllm-ascend#732 |
| LoRA | 🔵 实验性 | 功能正常,详见:LoRA |
| 推测解码 | 🟢 功能正常 | 基础支持 |
| 池化 | 🔵 实验性 | 需要 CI 适配更多模型;V1 支持依赖于 vLLM 支持。 |
| 编码-解码 | 🟡 计划中 | vLLM 需先支持此功能。 |
| 多模态 | 🟢 功能正常 | 多模态,正在优化并适配更多模型 |
| LogProbs | 🟢 功能正常 | 需要 CI |
| Prompt logProbs | 🟢 功能正常 | 需要 CI |
| 异步输出 | 🟢 功能正常 | 需要 CI |
| 束搜索 | 🔵 实验性 | 需要 CI |
| 引导解码 | 🟢 功能正常 | vllm-ascend#177 |
| 张量并行 | 🟢 功能正常 | 使 TP >4 在图形模式下正常工作。 |
| 流水线并行 | 🟢 功能正常 | 编写官方指南和教程。 |
| 专家并行 | 🟢 功能正常 | 支持动态 EPLB。 |
| 数据并行 | 🟢 功能正常 | 支持 Qwen3 MoE 的数据并行。 |
| 预填充解码分离 | 🟢 功能正常 | 功能正常,支持 xPyD。 |
| 量化 | 🟢 功能正常 | W8A8 可用;正在支持更多量化方法(W4A8 等) |
| 图形模式 | 🟢 功能正常 | 功能正常,详见:图形模式 |
| 休眠模式 | 🟢 功能正常 | 功能正常,详见:休眠模式 |
| 上下文并行 | 🟢 功能正常 | 功能正常,详见:上下文并行 |
- 🟢 功能完备:完全可用,持续优化中。
- 🔵 实验性:实验性支持,接口和功能可能发生变化。
- 🚧 开发中:正在积极开发,即将支持。
- 🟡 已计划:计划在未来实现(部分可能有开放的 PR/RFC)。
- 🔴 无计划/已弃用:无计划或已被 vLLM 弃用。