跳转至

支持的功能

vLLM Ascend 的功能支持原则是:与 vLLM 保持一致。我们也在积极与社区合作,加速支持。

功能调用:https://docs.vllm.ai/en/latest/features/tool_calling/

您可以查看 vLLM V1 引擎的支持状态。以下是 vLLM Ascend 的功能支持状态:

功能特性 状态 下一步计划
分块预填充 🟢 功能正常 功能正常,详见:分块预填充
自动前缀缓存 🟢 功能正常 功能正常,详见:vllm-ascend#732
LoRA 🔵 实验性 功能正常,详见:LoRA
推测解码 🟢 功能正常 基础支持
池化 🔵 实验性 需要 CI 适配更多模型;V1 支持依赖于 vLLM 支持。
编码-解码 🟡 计划中 vLLM 需先支持此功能。
多模态 🟢 功能正常 多模态,正在优化并适配更多模型
LogProbs 🟢 功能正常 需要 CI
Prompt logProbs 🟢 功能正常 需要 CI
异步输出 🟢 功能正常 需要 CI
束搜索 🔵 实验性 需要 CI
引导解码 🟢 功能正常 vllm-ascend#177
张量并行 🟢 功能正常 使 TP >4 在图形模式下正常工作。
流水线并行 🟢 功能正常 编写官方指南和教程。
专家并行 🟢 功能正常 支持动态 EPLB。
数据并行 🟢 功能正常 支持 Qwen3 MoE 的数据并行。
预填充解码分离 🟢 功能正常 功能正常,支持 xPyD。
量化 🟢 功能正常 W8A8 可用;正在支持更多量化方法(W4A8 等)
图形模式 🟢 功能正常 功能正常,详见:图形模式
休眠模式 🟢 功能正常 功能正常,详见:休眠模式
上下文并行 🟢 功能正常 功能正常,详见:上下文并行
  • 🟢 功能完备:完全可用,持续优化中。
  • 🔵 实验性:实验性支持,接口和功能可能发生变化。
  • 🚧 开发中:正在积极开发,即将支持。
  • 🟡 已计划:计划在未来实现(部分可能有开放的 PR/RFC)。
  • 🔴 无计划/已弃用:无计划或已被 vLLM 弃用。