LoRA 适配器指南

LoRA 适配器指南#

概述#

与 vLLM 类似，vllm-ascend 也支持 LoRA。具体用法及更多详情可参见 vLLM 官方文档。

您可以参考支持的模型列表来查找哪些模型在 vLLM 中支持 LoRA。

您现在可以在 ACLGraph 模式下运行 LoRA。为获得更好的 LoRA 性能，请参考图模式指南。

模型下载地址：

基础模型：https://www.modelscope.cn/models/vllm-ascend/Llama-2-7b-hf/files
LoRA 模型：https://www.modelscope.cn/models/vllm-ascend/llama-2-7b-sql-lora-test/files

示例#

我们在此提供了一个简单的 LoRA 示例，该示例默认启用了 ACLGraph 模式。

vllm serve meta-llama/Llama-2-7b \
    --enable-lora \
    --lora-modules '{"name": "sql-lora", "path": "/path/to/lora", "base_model_name": "meta-llama/Llama-2-7b"}'

自定义 LoRA 算子#

我们已经实现了 LoRA 相关的 AscendC 算子，例如 bgmv_shrink、bgmv_expand、sgmv_shrink 和 sgmv_expand。您可以在 vllm-ascend 仓库的 "csrc/kernels" 目录下找到它们。