LoRA适配器

概述

与 vLLM 类似，vllm-ascend 也支持 LoRA。具体的用法及更多详情可参见 vLLM 官方文档。

您可以参考 受支持的模型列表 来查找哪些模型在 vLLM 中支持 LoRA。

您现在可以在 ACLGraph 模式下运行 LoRA。为了获得更好的 LoRA 性能，请参考 图模式 (Graph Mode) 指南。

Address for downloading models:
base model: https://www.modelscope.cn/models/vllm-ascend/Llama-2-7b-hf/files
lora model: https://www.modelscope.cn/models/vllm-ascend/llama-2-7b-sql-lora-test/files

示例

我们在此提供了一个简单的 LoRA 示例，该示例默认启用了 ACLGraph 模式。

vllm serve meta-llama/Llama-2-7b \
    --enable-lora \
    --lora-modules '{"name": "sql-lora", "path": "/path/to/lora", "base_model_name": "meta-llama/Llama-2-7b"}'

定制 LoRA 算子

我们已经实现了 LoRA 相关的 AscendC 算子，例如 bgmv_shrink, bgmv_expand, sgmv_shrink 和 sgmv_expand。您可以在 vllm-ascend 仓库 的 "csrc/kernels" 目录下找到它们。