跳转至

特性×特性

下表展示了互斥特性及其在Ascend硬件上的支持情况,扩展自vLLM 表格

使用的符号含义如下:

  • ✅ = 完全兼容
  • 🟠 = 部分兼容
  • ❌ = 不兼容
  • ❔ = 未知或待定
特性 ACLGraph 仅全解码 ACLGraph 分段式 异步调度 APC 分块预填充 上下文并行 CPU绑定 DP 分离式预填充 Eagle3 EPLB EP Flashcomm1 KV缓存池 层分片 Lmhead TP MLAPO mm 多流MoE 共享专家DP 量化W4A4 量化W4A8 量化W8A8 TP 权重非零
ACLGraph 仅全解码
ACLGraph 分段式
异步调度
APC
分块预填充
上下文并行
CPU绑定
DP 🟠1
分离式预填充
Eagle3
EPLB
EP
Flashcomm1 🟠2
KV缓存池
层分片 🟠 🟠3
Lmhead TP 🟠4
MLAPO 🟠5
mm 🟠
多流MoE
共享专家DP 🟠1
量化W4A4
量化W4A8
量化W8A8
TP
权重非零 🟠
  • 1仅dcp支持数据并行,pcp不支持数据并行。
  • 2Flashcomm仅在预填充阶段启用。
  • 3层分片仅在预填充阶段启用。
  • 4Lmhead TP仅在纯数据并行场景中启用。
  • 5MLAPO仅在解码阶段支持。