LLaMA-Factory

简介

LLaMA-Factory 是一个易于使用且高效的平台，用于训练和微调大型语言模型。借助 LLaMA-Factory，您无需编写任何代码即可在本地微调数百个预训练模型。

LLaMA-Factory 用户在微调后需要对模型进行评估并执行推理。

业务挑战

LLaMA-Factory 使用 Transformers 在 Ascend NPU 上执行推理，但速度较慢。

vLLM Ascend 的优势

在 LLaMA-Factory 和 vLLM Ascend 的共同努力下（LLaMA-Factory#7739），LLaMA-Factory 在模型推理过程中实现了显著的性能提升。基准测试结果显示，其推理速度相比 Transformers 实现现在最高可提升 2 倍。

了解更多

有关 LLaMA-Factory 的更多详细信息，请参阅官方文档。