量化指南¶

模型量化是一种通过降低权重和激活值的数值精度来减小模型尺寸和计算开销的技术，从而节省内存并提升推理速度。

vLLM Ascend 支持多种量化方法。本指南提供了使用不同量化工具以及在 vLLM Ascend 上运行量化模型的说明。

注意

您可以选择自行转换模型，或使用我们上传的量化模型。参见 https://www.modelscope.cn/models/vllm-ascend/Kimi-K2-Instruct-W8A8。在量化模型之前，请确保有足够的可用 RAM。

量化工具¶

vLLM Ascend 支持由两种主要工具量化的模型：ModelSlim 和 LLM-Compressor。

1. ModelSlim（推荐）¶

ModelSlim 是一个对 Ascend 友好的压缩工具，专注于加速，采用压缩技术，并专为 Ascend 硬件构建。它包含一系列推理优化技术，如量化和压缩，旨在加速大语言稠密模型、MoE 模型、多模态理解模型、多模态生成模型等。

安装¶

要使用 ModelSlim 进行模型量化，请从其 Git 仓库安装：

# Install 26.0.0 version, this is currently the latest stable branch
git clone https://gitcode.com/Ascend/msmodelslim.git -b 26.0.0

cd msmodelslim

bash install.sh

模型量化¶

以下示例展示了如何为 Qwen3-MoE 模型生成 W8A8 量化权重。

量化脚本：

cd example/Qwen3-MOE

# Support multi-card quantization
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:False

# Set model and save paths
export MODEL_PATH="/path/to/your/model"
export SAVE_PATH="/path/to/your/quantized_model"

# Run quantization script
python3 quant_qwen_moe_w8a8.py --model_path $MODEL_PATH \
--save_path $SAVE_PATH \
--anti_dataset ../common/qwen3-moe_anti_prompt_50.json \
--calib_dataset ../common/qwen3-moe_calib_prompt_50.json \
--trust_remote_code True

量化完成后，输出目录将包含量化后的模型文件。

更多示例，请参考官方示例。

2. LLM-Compressor¶

LLM-Compressor 是一个统一的压缩模型库，用于加速 vLLM 推理。

安装¶

pip install llmcompressor

模型量化¶

LLM-Compressor 提供了多种量化方案示例。

稠密量化¶

为稠密模型生成 W8A8 动态量化权重的示例：

# Navigate to LLM-Compressor examples directory
cd examples/quantization/llm-compressor

# Run quantization script
python3 w8a8_int8_dynamic.py

MoE 量化¶

为 MoE 模型生成 W8A8 动态量化权重的示例：

# Navigate to LLM-Compressor examples directory
cd examples/quantization/llm-compressor

# Run quantization script
python3 w8a8_int8_dynamic_moe.py

3. 原生 FP8 检查点（无需量化步骤）¶

许多模型现在直接以FP8格式发布，例如Qwen/Qwen3.8-27B-FP8和zai-org/GLM-5.3-Flash。它们的config.json中包含"quant_method": "fp8"以及weight_block_size，这意味着每个量化权重都以float8_e4m3fn格式存储，并为每个权重块附带一个float32缩放因子。vLLM Ascend能够检测并按原样提供这些检查点，因此无需进行离线重新量化：

vllm serve /path/to/Qwen3.8-27B-FP8 --trust-remote-code
vllm serve /path/to/GLM-5.3-Flash --tensor-parallel-size 8 --trust-remote-code

权重的执行方式取决于硬件：

Ascend 950PR&950DT系列产品：加载时块缩放会被重新分组为 MXFP8，因此权重保持每个元素一个字节，并使用原生 FP8 矩阵乘法。
其他昇腾代际：加载时块缩放会被解析为模型 dtype，并由 BF16 矩阵乘法执行。数值上与检查点等价，但请按大约两倍的权重内存进行规划。

检查点中未量化的层（例如多模态模型上的 visual.merger.*）会列在 ignored_layers 或 modules_to_not_convert 中，并以未量化方式提供。

仅支持块级（block-wise）形式。没有 weight_block_size（逐张量或逐通道缩放因子）的原生 FP8 检查点目前没有 Ascend 执行路径；请改用 ModelSlim 或 LLM-Compressor 对其进行重新量化。

运行量化模型¶

一旦您拥有了由 ModelSlim 生成的量化模型，您可以通过指定 --quantization ascend 参数来使用 vLLM Ascend 进行推理，以启用量化功能；而对于由 LLM-Compressor 量化的模型，则无需添加此参数。

离线推理¶

import torch

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The future of AI is",
]
# Set sampling parameters
sampling_params = SamplingParams(temperature=0.6, top_p=0.95, top_k=40)

llm = LLM(model="/path/to/your/quantized_model",
          max_model_len=4096,
          trust_remote_code=True,
          # Set appropriate TP and DP values
          tensor_parallel_size=2,
          data_parallel_size=1,
          # Set an unused port
          port=8000,
          # Set serving model name
          served_model_name="quantized_model",
          # Specify `quantization="ascend"` to enable quantization for models quantized by ModelSlim
          quantization="ascend")

outputs = llm.generate(prompts, sampling_params)
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

在线推理¶

# Corresponding to offline inference
python -m vllm.entrypoints.api_server \
    --model /path/to/your/quantized_model \
    --max-model-len 4096 \
    --port 8000 \
    --tensor-parallel-size 2 \
    --data-parallel-size 1 \
    --served-model-name quantized_model \
    --trust-remote-code

量化指南¶

量化工具¶

1. ModelSlim（推荐）¶

安装¶

模型量化¶

2. LLM-Compressor¶

安装¶

模型量化¶

稠密量化¶

MoE 量化¶

3. 原生 FP8 检查点（无需量化步骤）¶

运行量化模型¶

离线推理¶

在线推理¶

参考资料¶