LoRA适配器指南¶

概述¶

与vLLM一样，vllm-ascend也支持LoRA。具体用法和更多细节可参考vLLM官方文档。

您可以查阅支持的模型了解vLLM中哪些模型支持LoRA。

您现在可以使用ACLGraph模式运行LoRA。请参考图模式指南以获得更好的LoRA性能。

模型下载地址：

基础模型：https://www.modelscope.cn/models/vllm-ascend/Llama-2-7b-hf/files
LoRA模型：https://www.modelscope.cn/models/vllm-ascend/llama-2-7b-sql-lora-test/files

示例¶

这里我们提供一个简单的LoRA示例，默认启用ACLGraph模式。

vllm serve meta-llama/Llama-2-7b \
    --enable-lora \
    --lora-modules '{"name": "sql-lora", "path": "/path/to/lora", "base_model_name": "meta-llama/Llama-2-7b"}'

注意¶

我们已实现了与LoRA相关的AscendC算子，例如bgmv_shrink、bgmv_expand、sgmv_shrink和sgmv_expand。你可以在vllm-ascend仓库的"csrc/kernels"目录下找到它们。
你现在可以在稠密模型或混合专家（MoE）模型上启用LoRA（PR #10977）。不过，在使用LoRA运行MoE模型时，我们尚未支持专家并行（EP）或量化功能。