LLaMA-Factory

简介

LLaMA-Factory 是一个易于使用且高效的平台，用于训练和微调大型语言模型。通过 LLaMA-Factory，您可以在本地对数百个预训练模型进行微调，无需编写任何代码。

LLaMA-Factory 用户在完成微调后，需要对模型进行评估和推理。

业务挑战

LLaMA-Factory 使用 Transformers 在昇腾 NPU 上进行推理，但速度较慢。

vLLM Ascend 带来的优势

通过 LLaMA-Factory 与 vLLM Ascend 的共同努力（LLaMA-Factory#7739），LLaMA-Factory 在模型推理阶段实现了显著的性能提升。基准测试结果表明，其推理速度相比 Transformers 实现最高提升了 2 倍。

了解更多

For more details about LLaMA-Factory, please refer to the official documentation.