功能指南

本节概述了 vLLM Ascend 中实现的功能。开发者可以参考本指南以了解 vLLM Ascend 的工作原理。

功能指南

• vLLM Ascend补丁说明
• 模型前向计算输入准备
• 解耦式预填充
• 专家并行负载均衡器（EPLB）
• ACL 图
• KV缓存池
• 添加自定义 aclnn 算子
• 上下文并行 (CP)
• 量化适配