模型教程

本节提供 vLLM Ascend 在不同模型上的使用教程。

模型教程

• Qwen3-Dense（Qwen3-0.6B/8B/32B）
• Qwen-VL-Dense（Qwen3-VL-2B/4B/8B/32B）
• Qwen3-30B-A3B
• Qwen3-235B-A22B
• Qwen3-VL-30B-A3B-Instruct
• Qwen3-VL-235B-A22B-Instruct
• Qwen3-Coder-30B-A3B
• Qwen3-Embedding
• Qwen3-VL-Embedding
• Qwen3-Reranker
• Qwen3-VL-Reranker
• Qwen3-8B-W4A8
• Qwen3-32B-W4A4
• Qwen3-Next
• Qwen3-Omni-30B-A3B-Thinking
• Qwen3.5-27B
• Qwen3.5-397B-A17B
• DeepSeek-V3/3.1
• DeepSeek-V3.2
• DeepSeek-V4-Flash
• DeepSeek-V4-Pro
• DeepSeek-R1
• DeepSeek-OCR-2
• GLM-4.5/4.6/4.7
• GLM-5/GLM-5.1
• Kimi-K2-Thinking
• Kimi-K2.5
• PaddleOCR-VL
• MiniMax-M2.5
• Hunyuan-A13B-Instruct
• Hy3-preview
• Minitron-8B-Base
• LLaVA-OneVision-Qwen2-0.5B-OV
• gpt-oss-120b
• Mixtral-8x7B-Instruct-v0.1
• Qwen3-ASR-1.7B
• Qwen2.5-Math-RM-72B
• InternVL3.5(InternVL3_5-38B/241B-A28B)