用户案例

阅读用户和开发者如何利用 vLLM Ascend 解决实际日常问题的案例研究

• LLaMA-Factory 是一个易于使用且高效的大语言模型训练与微调平台。自 LLaMA-Factory#7739 起，它支持使用 vLLM Ascend 加速推理，推理性能提升 2 倍。

• Huggingface/trl 是一个前沿库，旨在使用 SFT、PPO 和 DPO 等先进技术对基础模型进行后训练。自 v0.17.0 起，它使用 vLLM Ascend 在昇腾 NPU 上支持 RLHF。

• MindIE Turbo 是华为在昇腾硬件上开发的 LLM 推理引擎加速插件库，包含自研的 LLM 优化算法以及与推理引擎框架相关的优化。自 2.0rc1 起，它支持 vLLM Ascend。

• GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。自 v0.6.2 起，它支持 vLLM Ascend。更多 GPUStack 性能评估信息请参见此链接。

• verl 是一个灵活、高效且可用于生产环境的 LLM 强化学习训练库。自 v0.4.0 起，它使用 vLLM Ascend。更多信息请参见昇腾快速入门指南。