LLaMA-Factory

简介

LLaMA-Factory 是一个易于使用且高效的大语言模型训练与微调平台。借助 LLaMA-Factory，您无需编写任何代码即可在本地微调数百个预训练模型。

LLaMA-Factory 用户在微调后需要对模型进行评估和推理。

业务挑战

LLaMA-Factory 使用 Transformers 在昇腾 NPU 上进行推理，但速度较慢。

vLLM Ascend 的优势

在 LLaMA-Factory 与 vLLM Ascend 的共同努力下（LLaMA-Factory#7739），LLaMA-Factory 在模型推理过程中实现了显著的性能提升。基准测试结果显示，其推理速度相比 Transformers 实现最高可提升 2 倍。

了解更多

关于 LLaMA-Factory 的更多详情，请参阅官方文档。