开发者指南

本节面向希望为 vLLM Ascend 贡献代码或了解其内部架构的开发者。

贡献

• 贡献指南 — 如何为 vLLM Ascend 贡献代码
• 测试 — 编写和运行单元、端到端及夜间测试
• 文档编写 — 文档贡献指南
• 多节点测试 — 多节点测试指南
• 夜间 CI 测试 — 夜间 CI 测试
• 端到端 CI 测试 — 端到端 CI 测试

设计文档

浏览涵盖补丁架构、CPU 绑定、模型运行器内部机制、分离式预填充、EPLB、ACL 图、KV Cache 池、自定义算子、上下文并行、量化及 NPUGraph 的设计文档。

评估

• 使用 EvalScope — 使用 EvalScope 进行模型评估
• 使用 lm_eval — 使用 lm_eval 进行模型评估
• 使用 AISBench — 使用 AISBench 进行模型评估
• 使用 OpenCompass — 使用 OpenCompass 进行模型评估

性能与调试

• 性能基准测试 — 基准测试指南
• 优化与调优 — 性能优化
• 服务性能分析指南 — 服务性能分析
• msprobe 指南 — 使用 msprobe 进行调试