特性×特性

特性×特性#

下表展示了互斥特性及其在Ascend硬件上的支持情况,扩展自vLLM 表格

使用的符号含义如下:

  • ✅ = 完全兼容

  • 🟠 = 部分兼容

  • ❌ = 不兼容

  • ❔ = 未知或待定

特性

ACLGraph 仅全解码

ACLGraph 分段式

异步调度

APC

分块预填充

上下文并行

CPU绑定

DP

分离式预填充

Eagle3

EPLB

EP

Flashcomm1

KV缓存池

层分片

Lmhead TP

MLAPO

mm

多流MoE

共享专家DP

量化W4A4

量化W4A8

量化W8A8

TP

权重非零

ACLGraph 仅全解码

ACLGraph 分段式

异步调度

APC

分块预填充

上下文并行

CPU绑定

DP

🟠1

分离式预填充

Eagle3

EPLB

EP

Flashcomm1

🟠2

KV缓存池

层分片

🟠

🟠3

Lmhead TP

🟠4

MLAPO

🟠6

mm

🟠

多流MoE

共享专家DP

🟠1

量化W4A4

量化W4A8

量化W8A8

TP

权重非零

🟠

  • 1仅dcp支持数据并行,pcp不支持数据并行。

  • 2Flashcomm仅在预填充阶段启用。

  • 3层分片仅在预填充阶段启用。

  • 4Lmhead TP仅在纯数据并行场景中启用。

  • 5LoRA仅适用于多模态模型的语言主干(上游)。

  • 6MLAPO仅在解码阶段支持。