LoRA 适配器指南

LoRA 适配器指南#

概述#

与 vLLM 类似，vllm-ascend 也支持 LoRA。用法及更多详情可参见 vLLM 官方文档。

你可以参考支持的模型来查找 vLLM 中哪些模型支持 LoRA。

你现在可以在 ACLGraph 模式下运行 LoRA。请参考图模式指南以获得更好的 LoRA 性能。

模型下载地址：

基础模型：https://www.modelscope.cn/models/vllm-ascend/Llama-2-7b-hf/files
LoRA 模型：https://www.modelscope.cn/models/vllm-ascend/llama-2-7b-sql-lora-test/files

示例#

我们在此提供了一个简单的 LoRA 示例，该示例默认启用 ACLGraph 模式。

vllm serve meta-llama/Llama-2-7b \
    --enable-lora \
    --lora-modules '{"name": "sql-lora", "path": "/path/to/lora", "base_model_name": "meta-llama/Llama-2-7b"}'

自定义 LoRA 算子#

我们已经实现了与 LoRA 相关的 AscendC 算子，例如 bgmv_shrink、bgmv_expand、sgmv_shrink 和 sgmv_expand。你可以在 vllm-ascend 代码库的 "csrc/kernels" 目录下找到它们。