LoRA 适配器指南#
与 vLLM 类似，vllm-ascend 也支持 LoRA。用法及更多详情可参见 vLLM 官方文档。
你也可以参考这个链接来查找哪些模型在 vLLM 中支持 LoRA。
提示#
If you fail to run vllm-ascend with LoRA, you may follow this instruction to disable graph mode and try again.
与 vLLM 类似，vllm-ascend 也支持 LoRA。用法及更多详情可参见 vLLM 官方文档。
你也可以参考这个链接来查找哪些模型在 vLLM 中支持 LoRA。
If you fail to run vllm-ascend with LoRA, you may follow this instruction to disable graph mode and try again.