特性教程

本节提供 vLLM Ascend 各项特性的使用教程。

特性教程

• 基于 Mooncake 多实例的 PD 共置部署
• 预填充-解码分离部署（Qwen2.5-VL）
• 预填充-解码分离部署（Deepseek）
• 长序列上下文并行（Qwen3-235B-A22B）
• 长序列上下文并行（Deepseek）
• 动态分块流水线并行 (DeepSeek-V3.1)
• 后缀投机解码
• Ray 分布式部署（Qwen3-235B-A22B）