特性×特性¶
下表展示了互斥特性及其在Ascend硬件上的支持情况,扩展自vLLM 表格。
使用的符号含义如下:
- ✅ = 完全兼容
- 🟠 = 部分兼容
- ❌ = 不兼容
- ❔ = 未知或待定
| 特性 | ACLGraph 仅全解码 | ACLGraph 分段式 | 异步调度 | APC | 分块预填充 | 上下文并行 | CPU绑定 | DP | 分离式预填充 | Eagle3 | EPLB | EP | Flashcomm1 | KV缓存池 | 层分片 | Lmhead TP | MLAPO | mm | 多流MoE | 共享专家DP | 量化W4A4 | 量化W4A8 | 量化W8A8 | TP | 权重非零 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ACLGraph 仅全解码 | ✅ | ||||||||||||||||||||||||
| ACLGraph 分段式 | ❌ | ✅ | |||||||||||||||||||||||
| 异步调度 | ✅ | ✅ | ✅ | ||||||||||||||||||||||
| APC | ✅ | ✅ | ✅ | ✅ | |||||||||||||||||||||
| 分块预填充 | ✅ | ✅ | ✅ | ✅ | ✅ | ||||||||||||||||||||
| 上下文并行 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||||||||||||||||||
| CPU绑定 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||||||||||||||||
| DP | ✅ | ✅ | ✅ | ✅ | ✅ | 🟠1 | ✅ | ✅ | |||||||||||||||||
| 分离式预填充 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||||||||||||||
| Eagle3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||||||||||||||
| EPLB | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||||||||||||
| EP | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||||||||||||
| Flashcomm1 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🟠2 | ✅ | ✅ | ✅ | ✅ | ||||||||||||
| KV缓存池 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||||||||||
| 层分片 | ✅ | ✅ | ✅ | ✅ | ✅ | 🟠 | ✅ | ✅ | 🟠3 | ✅ | ✅ | ✅ | ✅ | ❔ | ✅ | ||||||||||
| Lmhead TP | ✅ | ✅ | ✅ | ✅ | ✅ | ❔ | ✅ | 🟠4 | ✅ | ✅ | ✅ | ✅ | ❌ | ❔ | ✅ | ✅ | |||||||||
| MLAPO | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🟠5 | ✅ | ✅ | ✅ | ❌ | ❔ | ❌ | ✅ | ✅ | ||||||||
| mm | ✅ | ✅ | ✅ | ✅ | ✅ | 🟠 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | ✅ | |||||||
| 多流MoE | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❔ | ✅ | ✅ | ✅ | ✅ | ||||||
| 共享专家DP | ✅ | ✅ | ✅ | ✅ | ✅ | 🟠1 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❔ | ✅ | ✅ | ❔ | ✅ | |||||
| 量化W4A4 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❔ | ❔ | ✅ | ❔ | ✅ | ❔ | ❌ | ❔ | ❔ | ✅ | ||||
| 量化W4A8 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | ❔ | ✅ | ❔ | ❌ | ✅ | ✅ | ❔ | ✅ | |||
| 量化W8A8 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❔ | ✅ | ✅ | ||
| TP | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| 权重非零 | ✅ | ✅ | ✅ | ✅ | ✅ | ❔ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | 🟠 | ✅ | ✅ | ✅ |
- 1仅dcp支持数据并行,pcp不支持数据并行。
- 2Flashcomm仅在预填充阶段启用。
- 3层分片仅在预填充阶段启用。
- 4Lmhead TP仅在纯数据并行场景中启用。
- 5MLAPO仅在解码阶段支持。