LLaMA-Factory

关于 / 介绍

LLaMA-Factory 是一个易于使用且高效的平台，用于训练和微调大型语言模型。有了 LLaMA-Factory，你可以在本地对数百个预训练模型进行微调，无需编写任何代码。

LLaMA-Facotory 用户需要在对模型进行微调后对模型进行评估和推理。

业务挑战

LLaMA-Factory 使用 transformers 在 Ascend NPU 上进行推理，但速度较慢。

通过 vLLM Ascend 解决挑战与收益

通过 LLaMA-Factory 与 vLLM Ascend 的共同努力（见 LLaMA-Factory#7739），LLaMA-Factory 在模型推理方面取得了显著的性能提升。基准测试结果显示，其推理速度目前相比于 Transformers 实现提升了高达 2 倍。

了解更多

在以下文档中查看更多关于 LLaMA-Factory 以及其如何在 Ascend NPU 上使用 vLLM Ascend 进行推理的信息：LLaMA-Factory Ascend NPU 推理。