跳转至

功能 × 功能

下表展示了互斥功能及其在昇腾硬件上的支持情况，该表是对 vLLM 表格 的扩展。

所用符号的含义如下：

  • ✅ = 完全兼容
  • 🟠 = 部分兼容
  • ❌ = 不兼容
  • ❔ = 未知或待定
特性 ACLGraph 全量解码 ACLGraph 分段式 异步调度 APC 分块预填充 上下文并行 CPU 绑定 DP 分离式预填充 Eagle3 Eplb EP Flashcomm1 KV 缓存池 层分片 Lmhead TP Mlapo mm 多流 MoE 共享专家 DP 量化 W4A4 量化 W4A8 量化 W8A8 TP 权重 nz
ACLGraph Full_Decode_Only ✅
ACLGraph Piecewise ❌ ✅
Async Scheduling ✅ ✅ ✅
APC ✅ ✅ ✅ ✅
Chunked Prefill ✅ ✅ ✅ ✅ ✅
Context Parallel ✅ ✅ ✅ ✅ ✅ ✅
Cpu Binding ✅ ✅ ✅ ✅ ✅ ✅ ✅
DP ✅ ✅ ✅ ✅ ✅ 🟠1 ✅ ✅
Disaggregated Prefill ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Eagle3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Eplb ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
EP ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Flashcomm1 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 🟠2 ✅ ✅ ✅ ✅
KV Cache Pool ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Layer Sharding ✅ ✅ ✅ ✅ ✅ 🟠 ✅ ✅ 🟠3 ✅ ✅ ✅ ✅ ❔ ✅
Lmhead TP ✅ ✅ ✅ ✅ ✅ ❔ ✅ 🟠4 ✅ ✅ ✅ ✅ ❌ ❔ ✅ ✅
Mlapo ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 🟠5 ✅ ✅ ✅ ❌ ❔ ❌ ✅ ✅
mm ✅ ✅ ✅ ✅ ✅ 🟠 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅ ✅ ✅
Multistream Moe ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❔ ✅ ✅ ✅ ✅
Shared Expert DP ✅ ✅ ✅ ✅ ✅ 🟠1 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❔ ✅ ✅ ❔ ✅
Quantization W4A4 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❌ ❔ ❔ ✅ ❔ ✅ ❔ ❌ ❔ ❔ ✅
Quantization W4A8 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❌ ✅ ✅ ✅ ❔ ✅ ❔ ❌ ✅ ✅ ❔ ✅
Quantization W8A8 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❔ ✅ ✅
TP ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
Weight nz ✅ ✅ ✅ ✅ ✅ ❔ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ❌ 🟠 ✅ ✅ ✅
  • 1 仅 dcp 支持 dp，pcp 不支持 dp。
  • 2 Flashcomm 仅在预填充阶段启用。
  • 3 层分片仅在预填充阶段启用。
  • 4 Lmhead TP 仅在纯 dp 场景下启用。
  • 5 MLAPO 仅在解码阶段支持。