跳转至

特性矩阵

下表展示了互斥功能及其在昇腾硬件上的支持情况，该表是对 vLLM 表格 的扩展。

所用符号的含义如下：

  • ✅ = 完全兼容
  • 🟠 = 部分兼容
  • ❌ = 不兼容
  • ❔ = 未知或待定
功能 ACLGraph 全解码模式 ACLGraph 分段模式 异步调度 APC 分块预填充 解码上下文并行 CPU绑定 DP 分离式预填充 Eagle3 EPLB EP KV缓存池 Lmhead TP MLAPO mm 多流MoE 共享专家DP 量化W4A4 量化W4A8 量化W8A8 TP Weight nz
ACLGraph Full_Decode_Only ✅
ACLGraph Piecewise ❌ ✅
Async Scheduling ✅ ✅ ✅
APC ✅ ✅ ✅ ✅
Chunked Prefill ✅ ✅ ✅ ✅ ✅
Decode Context Parallel ✅ ✅ ✅ ✅ ✅ ✅
CPU Binding ✅ ✅ ✅ ✅ ✅ ✅ ✅
DP ✅ ✅ ✅ ✅ ✅ 🟠1 ✅ ✅
Disaggregated Prefill ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Eagle3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
EPLB ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
EP ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
KV Cache Pool ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Lmhead TP ✅ ✅ ✅ ✅ ✅ ❔ ✅ 🟠2 ✅ ✅ ✅ ✅ ❔ ✅
MLAPO ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 🟠3 ✅ ✅ ✅ ❔ ✅ ✅
mm ✅ ✅ ✅ ✅ ✅ 🟠 ✅ ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅ ✅
Multistream MoE ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Shared Expert DP ✅ ✅ ✅ ✅ ✅ 🟠1 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❔ ✅ ✅ ❔ ✅
Quantization W4A4 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❌ ❔ ✅ ✅ ❔ ❌ ❔ ❔ ✅
Quantization W4A8 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅ ✅ ❔ ❌ ✅ ✅ ❔ ✅
Quantization W8A8 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❔ ✅ ✅
TP ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Weight nz ✅ ✅ ✅ ✅ ✅ ❔ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❌ 🟠 ✅ ✅ ✅
  • 1 Lmhead TP仅在纯DP场景下启用。
  • 2 MLAPO仅在解码阶段受支持。