跳转至
vLLM Ascend (中文)
部署指南
正在初始化搜索引擎
vllm-project/vllm-ascend
首页
快速开始
用户指南
开发者指南
社区
vLLM Ascend (中文)
vllm-project/vllm-ascend
首页
快速开始
快速开始
概览
快速开始
安装
模型教程
模型教程
Qwen3-Dense
Qwen-VL-Dense
Qwen3-30B-A3B
Qwen3-235B-A22B
Qwen3-VL-30B-A3B-Instruct
Qwen3-VL-235B-A22B-Instruct
Qwen3-Coder-30B-A3B
Qwen3 Embedding
Qwen3-VL-Embedding
Qwen3 Reranker
Qwen3-VL-Reranker
Qwen3-Next
Qwen3-Omni-30B-A3B-Thinking
Qwen3.5-27B & Qwen3.6-27B
Qwen3.5-397B-A17B
Qwen3.6-35B-A3B
DeepSeek-V3.1
DeepSeek-V3.2
DeepSeek-V4-Flash
DeepSeek-V4-Pro
DeepSeek-R1
DeepSeekOCR2
GLM-4.x
GLM-5
GLM-5.2
Kimi-K2-Thinking
Kimi-K2.5
Kimi-K2.6
PaddleOCR-VL
MiniMax-M2
Hunyuan-A13B-Instruct
Hy3-preview
Minitron-8B-Base
LLaVA-OneVision-Qwen2-0.5B-OV
gpt-oss-120b
Mixtral-8x7B-Instruct-v0.1
Qwen3-ASR-1.7B
Qwen2.5-Math-RM-72B
InternVL3.5
功能教程
功能教程
PD 共置（Mooncake，多实例）
PD 分离（Mooncake，单节点）
PD 分离（Mooncake，多节点）
长序列上下文并行（单节点）
长序列上下文并行（多节点）
动态分块流水线并行
后缀推测解码
Ray
硬件教程
硬件教程
310P
常见问题
用户指南
用户指南
特性与模型
支持的模型
支持的功能
功能矩阵
配置
配置
环境变量
附加配置
功能指南
功能指南
图模式
CPU 绑定
AI QoS
量化
休眠模式
结构化输出
LoRA
专家并行负载均衡
NetLoader
RFork
动态批次
EPD 分离
KV 池
KV Cache CPU 卸载
外部数据并行
大规模 EP
UCM 部署
细粒度 TP
层分片
推测解码
上下文并行
权重预取
序列并行
批次不变性
LMCache Ascend 部署
动态分块流水线并行
Flash 注意力
部署指南
部署指南
使用 Volcano Kthena
使用 MindIE Motor
发布说明
开发者指南
开发者指南
贡献
贡献
测试
文档编写
多节点测试
夜间 CI 测试
端到端 CI 测试
设计文档
设计文档
补丁
CPU 绑定
ModelRunner 输入准备
分离式预填充
EPLB 快速均衡器
ACL 图
KV Cache 池指南
添加自定义 ACLNN 算子
上下文并行
动态分块流水线并行
量化
NPUGraph 扩展
评估
评估
使用 EvalScope
使用 lm_eval
使用 AISBench
使用 OpenCompass
性能与调试
性能与调试
性能基准测试
优化与调优
服务性能分析指南
msprobe 指南
社区
社区
治理
贡献者
Issue 工作流指南
Slash 命令
版本策略
用户故事
用户故事
LLaMA-Factory
部署指南
¶
回到页面顶部