LoRA适配器指南

概述

与vLLM类似，vllm-ascend也支持LoRA。具体用法和更多细节请参考vLLM官方文档。

您可以参考支持的模型了解vLLM中哪些模型支持LoRA。

您现在可以在ACLGraph模式下运行LoRA。请参阅图模式指南以获得更好的LoRA性能。

模型下载地址：

• 基础模型：https://www.modelscope.cn/models/vllm-ascend/Llama-2-7b-hf/files

• LoRA模型：https://www.modelscope.cn/models/vllm-ascend/llama-2-7b-sql-lora-test/files

示例

这里我们提供一个简单的LoRA示例，默认启用ACLGraph模式。

vllm serve meta-llama/Llama-2-7b \
    --enable-lora \
    --lora-modules '{"name": "sql-lora", "path": "/path/to/lora", "base_model_name": "meta-llama/Llama-2-7b"}'

注意

• 我们已经实现了与LoRA相关的AscendC算子，如bgmv_shrink、bgmv_expand、sgmv_shrink和sgmv_expand。您可以在vllm-ascend仓库的csrc/kernels目录下找到它们。

• 您现在可以在稠密模型或混合专家（MoE）模型上启用LoRA（PR #10977）。但是，在使用LoRA运行MoE模型时，我们尚未支持专家并行（EP）或量化。