批次不变性#
备注
批量不变性目前处于测试阶段。部分功能仍在积极开发中。请通过跟踪问题#5487了解进展和计划改进。
备注
要安装批量不变性自定义算子库,请在构建 vllm-ascend 前设置 VLLM_BATCH_INVARIANT=1。有关安装说明,请参阅使用 Python 设置
本文档介绍如何在 vLLM-Ascend 中启用批次不变性。批次不变性确保模型的输出是确定性的,且不受批次大小或批次中请求顺序的影响。
动机#
批次不变性在以下几种使用场景中至关重要:
框架调试:确定性输出使得推理框架中的问题调试更加容易,因为无论是否批处理,相同的输入始终产生相同的输出。
模型调试:通过确保不同批次配置下行为一致,帮助识别模型实现中的问题。
强化学习 (RL):RL 训练通常需要确定性的 rollout 以确保可复现性和稳定的训练。
大规模推理系统:将 vLLM 作为组件的系统受益于确定性行为,用于测试、验证和一致性保证。
硬件要求#
批次不变性目前需要 Ascend Atlas A2 和 A3 推理产品 NPU。我们将在未来支持 Ascend 950 产品及其他 NPU。
软件要求#
批次不变性需要 Atlas A2 和 A3 推理产品的自定义算子库,用户需要在构建 vllm-ascend 前设置 VLLM_BATCH_INVARIANT=1,以便在安装过程中安装批次不变性自定义算子库。
启用批次不变性#
通过将 VLLM_BATCH_INVARIANT 环境变量设置为 1 即可启用批次不变性:
export VLLM_BATCH_INVARIANT=1
在线推理(服务器模式)#
启动启用了批次不变性的 vLLM 服务器:
VLLM_BATCH_INVARIANT=1 vllm serve Qwen/Qwen3-8B \
--compilation-config '{"cudagraph_mode": "PIECEWISE"}'
然后使用兼容 OpenAI 的客户端:
from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://localhost:8000/v1",
)
# These requests will produce deterministic outputs
# regardless of batch size or order
response = client.completions.create(
model="Qwen/Qwen3-8B",
prompt="The future of AI is",
max_tokens=100,
temperature=0.7,
seed=42,
)
print(response.choices[0].text)
离线推理#
使用批次不变性进行离线批量推理:
import os
os.environ["VLLM_BATCH_INVARIANT"] = "1"
from vllm import LLM, SamplingParams
prompts = [
"The future of AI is",
"Machine learning enables",
"Deep learning models can",
]
sampling_params = SamplingParams(
temperature=0.7,
max_tokens=100,
seed=42,
)
llm = LLM(
model="Qwen/Qwen3-8B",
tensor_parallel_size=1,
compilation_config={"cudagraph_mode": "PIECEWISE"},
)
# Outputs will be deterministic regardless of batch size
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}")
print(f"Generated: {generated_text!r}\n")
已测试模型#
批次不变性已在以下模型上测试并验证:
Qwen3 (密集):
Qwen/Qwen3-1.7B,Qwen/Qwen3-8BQwen3 (MoE):
Qwen/Qwen3-30B-A3B,Qwen/Qwen3-235B-A22B
其他模型也可能适用,但这些模型已明确验证。如果您在特定模型上遇到问题,请在 GitHub 问题跟踪器 上报告。
实现细节#
启用批次不变性后,vLLM:
对注意力和其他操作使用确定性内核实现
确保不同批次大小下的数值行为一致
禁用可能引入非确定性的某些优化
备注
批量不变性注意力算子目前不支持 FULL','FULL_DECODE_ONLY cudagraph 模式。
备注
与默认的非确定性模式相比,启用批次不变性可能会影响性能。这种权衡是故意的,以保证可复现性。
未来改进#
批次不变性功能正在积极开发中。计划中的改进包括:
支持更多 NPU 系列
支持批量不变性注意力算子的
FULL,FULL_DECODE_ONLYcudagraph 模式扩展模型覆盖范围
性能优化
额外的测试和验证
有关最新状态和贡献想法,请参见 跟踪问题。