特性×特性#
下表展示了互斥特性及其在Ascend硬件上的支持情况,扩展自vLLM 表格。
使用的符号含义如下:
✅ = 完全兼容
🟠 = 部分兼容
❌ = 不兼容
❔ = 未知或待定
特性 |
异步调度 |
Flashcomm1 |
层分片 |
Lmhead TP |
MLAPO |
多流MoE |
共享专家DP |
TP |
权重非零 |
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
✅ |
|||||||||||||||||||||||||
❌ |
✅ |
||||||||||||||||||||||||
异步调度 |
✅ |
✅ |
✅ |
||||||||||||||||||||||
✅ |
✅ |
✅ |
✅ |
||||||||||||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
|||||||||||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
||||||||||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
|||||||||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
🟠1 |
✅ |
✅ |
||||||||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
|||||||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
||||||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
|||||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
||||||||||||||
Flashcomm1 |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
🟠2 |
✅ |
✅ |
✅ |
✅ |
||||||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
||||||||||||
层分片 |
✅ |
✅ |
✅ |
✅ |
✅ |
🟠 |
✅ |
✅ |
🟠3 |
✅ |
✅ |
✅ |
✅ |
❔ |
✅ |
||||||||||
Lmhead TP |
✅ |
✅ |
✅ |
✅ |
✅ |
❔ |
✅ |
🟠4 |
✅ |
✅ |
✅ |
✅ |
❌ |
❔ |
✅ |
✅ |
|||||||||
MLAPO |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
🟠6 |
✅ |
✅ |
✅ |
❌ |
❔ |
❌ |
✅ |
✅ |
||||||||
✅ |
✅ |
✅ |
✅ |
✅ |
🟠 |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
❌ |
✅ |
✅ |
✅ |
✅ |
||||||||
多流MoE |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
❔ |
✅ |
✅ |
✅ |
✅ |
||||||
共享专家DP |
✅ |
✅ |
✅ |
✅ |
✅ |
🟠1 |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
❔ |
✅ |
✅ |
❔ |
✅ |
|||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
❌ |
❔ |
❔ |
✅ |
❔ |
✅ |
❔ |
❌ |
❔ |
❔ |
✅ |
|||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
❌ |
✅ |
✅ |
✅ |
❔ |
✅ |
❔ |
❌ |
✅ |
✅ |
❔ |
✅ |
||||
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
❔ |
✅ |
✅ |
|||
TP |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
|
权重非零 |
✅ |
✅ |
✅ |
✅ |
✅ |
❔ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
❌ |
🟠 |
✅ |
✅ |
✅ |
1仅dcp支持数据并行,pcp不支持数据并行。
2Flashcomm仅在预填充阶段启用。
3层分片仅在预填充阶段启用。
4Lmhead TP仅在纯数据并行场景中启用。
5LoRA仅适用于多模态模型的语言主干(上游)。
6MLAPO仅在解码阶段支持。