LLaMA-Factory

关于 / 介绍

LLaMA-Factory 是一个易于使用且高效的平台，用于训练和微调大型语言模型。有了 LLaMA-Factory，你可以在本地对数百个预训练模型进行微调，无需编写任何代码。

LLaMA-Facotory 用户需要在对模型进行微调后对模型进行评估和推理。

业务挑战

LLaMA-Factory 使用 transformers 在 Ascend NPU 上进行推理，但速度较慢。

通过 vLLM Ascend 解决挑战与收益

在 LLaMA-Factory 和 vLLM Ascend 的共同努力下（参见 LLaMA-Factory#7739），LLaMA-Factory 在模型推理阶段的性能得到了显著提升。根据测试结果，LLaMA-Factory 的推理速度相比 transformers 版本提升到了 2 倍。

了解更多

在以下文档中查看更多关于 LLaMA-Factory 以及其如何在 Ascend NPU 上使用 vLLM Ascend 进行推理的信息：LLaMA-Factory Ascend NPU 推理。