设计文档

本节概述了 vLLM Ascend 中实现的功能。开发者可参考本指南了解 vLLM Ascend 的工作原理。

设计文档

• vLLM Ascend 中的补丁
• CPU 绑定
• 准备模型前向传播的输入
• 分离式预填充
• 专家并行负载均衡器（EPLB）
• ACL 图
• KV缓存池
• 添加自定义aclnn算子
• 上下文并行（CP）
• 动态分块流水线并行（CPP）
• 量化适配指南
• Npugraph_ex