跳转至

功能 × 功能

下表展示了互斥功能及其在昇腾硬件上的支持情况,该表是对 vLLM 表格 的扩展。

所用符号的含义如下:

  • ✅ = 完全兼容
  • 🟠 = 部分兼容
  • ❌ = 不兼容
  • ❔ = 未知或待定
特性 ACLGraph 全解码模式 ACLGraph 分段模式 异步调度 APC 分块预填充 上下文并行 CPU绑定 DP 分离式预填充 Eagle3 EPLB EP Flashcomm1 KV缓存池 Lmhead TP MLAPO mm 多流MoE 共享专家DP 量化W4A4 量化W4A8 量化W8A8 TP Weight nz
ACLGraph Full_Decode_Only
ACLGraph Piecewise
Async Scheduling
APC
Chunked Prefill
Context Parallel
CPU Binding
DP 🟠1
Disaggregated Prefill
Eagle3
EPLB
EP
Flashcomm1 🟠2
KV Cache Pool
Lmhead TP 🟠3
MLAPO 🟠4
mm 🟠
Multistream MoE
Shared Expert DP 🟠1
Quantization W4A4
Quantization W4A8
Quantization W8A8
TP
Weight nz 🟠
  • 1 仅 dcp 支持 dp,pcp 不支持 dp。
  • 2 Flashcomm 仅在预填充阶段启用。
  • 3 Lmhead TP 仅在纯 dp 场景下启用。
  • 5 MLAPO 仅在解码阶段支持。