LLaMA-Factory

简介

LLaMA-Factory 是一个易于使用且高效的大语言模型训练与微调平台。通过 LLaMA-Factory，您可以在本地对数百个预训练模型进行微调，无需编写任何代码。

LLaMA-Factory 用户在模型微调后，需要对其进行评估和推理。

面临的问题

LLaMA-Factory 最初使用 Transformers 在昇腾 NPU 上进行推理，但推理速度较慢。

使用 vLLM Ascend 的优势

通过 LLaMA-Factory 与 vLLM Ascend 的共同努力（LLaMA-Factory#7739），LLaMA-Factory 在模型推理阶段取得了显著的性能提升。基准测试结果表明，其推理速度相比原有的 Transformers 实现提升高达 2 倍

了解更多

For more details about LLaMA-Factory, please refer to the official documentation.