用户案例

阅读案例研究，了解用户和开发者如何利用 vLLM Ascend 解决实际日常问题。

• LLaMA-Factory 是一个易于使用且高效的大语言模型训练与微调平台。自 LLaMA-Factory#7739 起支持 vLLM Ascend 以加速推理，推理性能提升 2 倍。

• Huggingface/trl 是一个前沿的库，专为使用 SFT、PPO 和 DPO 等先进技术对基础模型进行后训练而设计。自 v0.17.0 起，该库使用 vLLM Ascend 以支持在昇腾 NPU 上进行 RLHF。

• MindIE Turbo 是华为在昇腾硬件上开发的一款用于加速大语言模型推理引擎的插件库，包含自主研发的大语言模型优化算法及与推理引擎框架相关的优化。自 2.0rc1 起，支持 vLLM Ascend。

• GPUStack 是一个开源的 GPU 集群管理器，用于运行 AI 模型。自 v0.6.2 起支持 vLLM Ascend。更多 GPUStack 性能评测信息请参见 此链接。

• verl is a flexible, efficient, and production-ready RL training library for LLMs. It uses vLLM Ascend since v0.4.0.

更多详情

• LLaMA-Factory