跳转至

支持的模型

在此处获取最新信息：https://github.com/vllm-project/vllm-ascend/issues/1608

图例说明:

  • ✅ = 支持的模型/功能
  • 🔵 = 实验性支持的模型/功能
  • ❌ = 不支持的模型/功能
  • 🟡 = 未测试或未验证

纯文本语言模型

生成模型

核心支持的模型

模型 支持情况 备注 BF16 支持的硬件 W8A8 分块预填充 自动前缀缓存 LoRA 推测解码 异步调度 张量并行 流水线并行 专家并行 数据并行 预填充-解码分离 分段 AclGraph 全图 AclGraph 最大模型长度 MLP 权重预取 文档
DeepSeek V4-Flash ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 1M DeepSeek-V4
DeepSeek V4-Pro ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 1M DeepSeek-V4
DeepSeek V3/3.1 ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 240k DeepSeek-V3.1
DeepSeek V3.2 🔵 ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 160k ✅ DeepSeek-V3.2
DeepSeek R1 ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 128k DeepSeek-R1
Qwen3-Dense ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 128k ✅ Qwen3-Dense
Qwen3-30B-A3B ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ Qwen3-30B-A3B
Qwen3-Coder-30B-A3B ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ Qwen3-Coder-30B-A3B
Qwen3-235B-A22B ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 256k Qwen3-235B-A22B
Qwen3-Next 🔵 ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ Qwen3-Next
GLM-4.x 🔵 A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 198k GLM-4.x
GLM-5/5.1 🔵 ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 200k GLM-5
GLM-5.2 🔵 ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 200k GLM-5
Kimi-K2-Thinking 🔵 A2/A3 Kimi-K2-Thinking
DeepseekOCR2 ✅ ✅ A2/A3 ✅ ✅ DeepSeekOCR2
MiniMax-M2.5/2.7 ✅ ✅ A2/A3/Ascend950 (Ascend950 实验性) ✅ ✅ ✅ ❌ ✅ ✅ ✅ 🟡 ✅ ✅ ✅ 🟡 ✅ 200k 🟡 MiniMax-M2
Qwen2.5-Math-RM-72B ✅ vllm-rm, tensor_parallel_size=4, max_model_len=4096 ✅ A2 ✅ 🟡 🟡 ❌ 🟡 ✅ ✅ 🟡 🟡 🟡 🟡 🟡 🟡 4096 🟡 Qwen2.5-Math-RM-72B

扩展兼容模型

模型 支持情况 备注 支持的硬件
DeepSeek Distill (Qwen/Llama) ✅ A2/A3
基于 Qwen3 ✅ A2/A3
Qwen2 ✅ A2/A3
Qwen2.5 ✅ A2/A3
基于 Qwen2 ✅ A2/A3
QwQ-32B ✅ A2/A3
Llama⅔/3.⅓.2 ✅ A2/A3
Internlm 🔵 #1962 A2/A3
Baichuan 🔵 A2/A3
Baichuan2 🔵 A2/A3
Phi-4-mini 🔵 A2/A3
MiniCPM 🔵 A2/A3
MiniCPM3 🔵 A2/A3
Ernie4.5 🔵 A2/A3
Ernie4.5-Moe 🔵 A2/A3
Gemma-2 🔵 A2/A3
Gemma-3 🔵 A2/A3
Phi-¾ 🔵 A2/A3
Mistral/Mistral-Instruct 🔵 A2/A3
Hy3-preview 🔵 A3
DeepSeek V2.5 🟡 需要测试
Mllama 🟡 需要测试
MiniMax-Text 🟡 需要测试

池化模型

模型 支持情况 备注 支持的硬件 文档
Qwen3-Embedding 🔵 A2/A3 Qwen3_embedding
Qwen3-VL-Embedding 🔵 A2/A3 Qwen3-VL-Embedding
Qwen3-Reranker 🔵 A2/A3 Qwen3_reranker
Qwen3-VL-Reranker 🔵 A2/A3 Qwen3-VL-Reranker
Molmo 🔵 1942 A2/A3
基于XLM-RoBERTa 🔵 A2/A3
Bert 🔵 A2/A3
Qwen2.5-Math-RM-72B ✅ 奖励模型，gsm8k_correctness 准确率=0.80 A2 Qwen2.5-Math-RM-72B

多模态语言模型

生成模型

核心支持的模型

模型 支持情况 备注 BF16 支持的硬件 W8A8 分块预填充 自动前缀缓存 LoRA 推测解码 异步调度 张量并行 流水线并行 专家并行 数据并行 预填充-解码分离 分段 AclGraph 全图 AclGraph 最大模型长度 MLP 权重预取 文档
Qwen3-VL ✅ A2/A3 ✅ ✅ ✅ Qwen-VL-Dense
Qwen3-VL-MOE ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 256k Qwen3-VL-MOE
Qwen3.5-397B-A17B ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 1010000 Qwen3.5-397B-A17B
Qwen3.5-27B / Qwen3.6-27B ✅ ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 262144 Qwen3.5-27B / Qwen3.6-27B
Qwen3.6-35B-A3B 🔵 ✅ A2/A3 ✅ ✅ ✅ 🔵 ✅ ✅ ✅ ✅ ❌ ✅ ✅ 262144 Qwen3.6-35B-A3B
Qwen3-Omni-30B-A3B-Thinking 🔵 A2/A3 ✅ ✅ Qwen3-Omni-30B-A3B-Thinking
Kimi-K2.5/Kimi-K2.6 ✅ A2/A3 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ 262144 Kimi-K2.5/Kimi-K2.6

扩展兼容模型

模型 支持情况 备注 支持的硬件
Qwen2-VL ✅ A2/A3
Qwen3-Omni 🔵 A2/A3
QVQ 🔵 A2/A3
Qwen2-Audio 🔵 A2/A3
Aria 🔵 A2/A3
LLaVA-Next 🔵 A2/A3
LLaVA-Next-Video 🔵 A2/A3
MiniCPM-V 🔵 A2/A3
Mistral3 🔵 A2/A3
Phi-3-Vision/Phi-3.5-Vision 🔵 A2/A3
Gemma3 🔵 A2/A3
Llama3.2 🔵 A2/A3
PaddleOCR-VL 🔵 A2/A3
Llama4 ❌ 1972
Keye-VL-8B-Preview ❌ 1961
Florence-2 ❌ 2259
GLM-4V ❌ 2260
InternVL2.0/2.5/3.0
InternVideo2.5/Mono-InternVL		 ❌ 2064
Whisper ❌ 2262
Ultravox 🟡 需要测试