模型支持

Get the newest info here: vllm-project/vllm-ascend#1608

纯文本语言模型

生成模型

模型	支持	注释
DeepSeek v3	✅
DeepSeek R1	✅
DeepSeek Distill（Qwen/LLama）	✅
Qwen3	✅
Qwen3-Moe	✅
Qwen2.5	✅
QwQ-32B	✅
LLama3.1/3.2	✅
Internlm	✅
百川	✅
Phi-4-mini	✅
MiniCPM	✅
MiniCPM3	✅
LLama4	✅
Mistral		需要测试
DeepSeek v2.5		需要测试
Gemma-2		需要测试
Mllama		需要测试
Gemma-3	❌	#496
ChatGLM	❌	#554

池化模型

模型	支持	注释
Molmo	✅
bge-reranker-large	✅	only V0 #2646
bge-m3	✅	only V0 #2464
bge-reranker-large	✅	only V0 #2646

多模态语言模型

生成模型

模型	支持	注释
Qwen2-VL	✅
Qwen2.5-VL	✅
LLaVA 1.5	✅
LLaVA 1.6	✅	#553
InternVL2	✅
InternVL2.5	✅
Qwen2-Audio	✅
LLaVA-Next		需要测试
LLaVA-Next-Video		需要测试
Phi-3-Vison/Phi-3.5-Vison		需要测试
GLM-4v		需要测试
Ultravox		需要测试