用户案例

阅读案例研究，了解用户和开发者如何使用 vLLM Ascend 解决实际日常问题。

• LLaMA-Factory 是一个易于使用且高效的大语言模型训练与微调平台。自 LLaMA-Factory#7739 起支持 vLLM Ascend 以加速推理，推理性能提升达 2 倍。

• Huggingface/trl 是一个前沿库，专为使用 SFT、PPO 和 DPO 等先进技术对基础模型进行后训练而设计。自 v0.17.0 版本起集成 vLLM Ascend，以支持在昇腾 NPU 上进行 RLHF。

• MindIE Turbo 是华为基于昇腾硬件开发的 LLM 推理引擎加速插件库，包含自研的大语言模型优化算法以及与推理引擎框架相关的优化。自 2.0rc1 版本起支持 vLLM Ascend。

• GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。自 v0.6.2 版本起支持 vLLM Ascend。更多 GPUStack 性能评测信息，请参阅此链接。

• verl is a flexible, efficient, and production-ready RL training library for LLMs. It uses vLLM Ascend since v0.4.0. See more information on Ascend Quickstart.

更多详情

• LLaMA-Factory