LoRA 适配器指南

概述

与 vLLM 类似，vllm-ascend 也支持 LoRA。用法及更多详情可参见 vLLM 官方文档。

你可以参考支持的模型来查找 vLLM 中哪些模型支持 LoRA。

你现在可以在 ACLGraph 模式下运行 LoRA。请参考图模式指南以获得更好的 LoRA 性能。

模型下载地址：

• 基础模型：https://www.modelscope.cn/models/vllm-ascend/Llama-2-7b-hf/files

• LoRA 模型：https://www.modelscope.cn/models/vllm-ascend/llama-2-7b-sql-lora-test/files

示例

我们在此提供了一个简单的 LoRA 示例，该示例默认启用 ACLGraph 模式。

vllm serve meta-llama/Llama-2-7b \
    --enable-lora \
    --lora-modules '{"name": "sql-lora", "path": "/path/to/lora", "base_model_name": "meta-llama/Llama-2-7b"}'

自定义 LoRA 算子

We have implemented LoRA-related AscendC operators, such as bgmv_shrink, bgmv_expand, sgmv_shrink and sgmv_expand. You can find them under the "csrc/kernels" directory of vllm-ascend repo.