模型教程

本节提供 vLLM Ascend 不同模型的使用教程。

模型教程

• Qwen2.5-Omni-7B
• Qwen2.5-7B
• Qwen3-Dense(Qwen3-0.6B/8B/32B)
• Qwen-VL-Dense (Qwen2.5VL-3B/7B, Qwen3-VL-2B/4B/8B/32B)
• Qwen3-30B-A3B
• Qwen3-235B-A22B
• Qwen3-VL-30B-A3B-Instruct
• Qwen3-VL-235B-A22B-Instruct
• Qwen3-Coder-30B-A3B
• Qwen3-Embedding
• Qwen3-VL-Embedding
• Qwen3-Reranker
• Qwen3-VL-Reranker
• Qwen3-8B-W4A8
• Qwen3-32B-W4A4
• Qwen3-Next
• Qwen3-Omni-30B-A3B-Thinking
• Qwen3.5-27B/Qwen3.6-27B
• Qwen3.6-35B-A3B
• Qwen3.5-397B-A17B
• DeepSeek-V3/3.1
• DeepSeek-V3.2
• DeepSeek-V4-Flash
• DeepSeek-V4-Pro
• DeepSeek-R1
• DeepSeek-OCR-2
• GLM-4.5/4.6/4.7
• GLM-5/GLM-5.1
• Kimi-K2-Thinking
• Kimi-K2.5
• PaddleOCR-VL
• MiniMax-M2