用户故事

阅读案例研究，了解用户和开发者如何使用 vLLM Ascend 解决实际日常问题。

• LLaMA-Factory 是一个易于使用且高效的大语言模型训练与微调平台，自 LLaMA-Factory#7739 起支持 vLLM Ascend 加速推理，推理性能提升 2 倍。

• Huggingface/trl 是一个前沿的库，专为使用 SFT、PPO 和 DPO 等先进技术对基础模型进行后训练而设计。从 v0.17.0 版本开始，该库利用 vLLM Ascend 来支持在 Ascend NPU 上进行 RLHF。

• MindIE Turbo 是华为在昇腾硬件上开发的一款用于加速LLM推理引擎的插件库，包含自主研发的大语言模型优化算法及与推理引擎框架相关的优化。从 2.0rc1 起，支持 vLLM Ascend。

• GPUStack 是一个开源的 GPU 集群管理器，用于运行 AI 模型。从 v0.6.2 版本开始支持 vLLM Ascend，更多 GPUStack 性能评测信息见 链接。

• verl 是一个灵活、高效且可用于生产环境的大型语言模型（LLM）强化学习训练库，自 v0.4.0 起支持 vLLM Ascend，更多信息请参见 verl x Ascend 快速上手。

更多细节

• LLaMA-Factory