权重预取指南

权重预取指南#

权重预取通过在使用前将权重预加载到缓存中来优化内存使用，从而最大限度地减少模型执行期间因内存访问造成的延迟。线性层有时会表现出较高的MTE利用率。为了解决这个问题，我们专门为权重预取创建了一个独立的流水线，该流水线与原始的向量计算流水线（如量化、MoE门控top_k、RMSNorm和SwiGlu）并行运行。这种方法允许权重提前预加载到L2缓存中，从而降低线性层计算期间的MTE利用率，并通过最小化资源争用和优化数据流来间接提高Cube计算效率。

由于我们使用向量计算来隐藏权重预取流水线，这会对计算产生影响。如果您优先考虑低延迟而非高吞吐量，则最好不要启用预取。

快速开始#

使用 --additional-config '{"weight_prefetch_config": {"enabled": true}}' 来启用权重预取。

微调预取比例#

由于权重预取使用向量计算来隐藏权重预取流水线，因此预取大小的设置至关重要。如果大小太小，则无法充分实现优化收益；而大小过大可能导致资源争用，从而造成性能下降。为了适应不同的场景，我们添加了 prefetch_ratio，以便根据具体工作负载灵活配置大小，详情如下：

通过在 "weight_prefetch_config" 中设置 prefetch_ratio，可以为特定的线性层自定义权重预取比例。

“attn”和“moe”配置选项用于MoE模型，详情如下：

"attn": { "qkv": 1.0, "o": 1.0}, "moe": {"gate_up": 0.8}

“mlp”配置选项用于优化Dense模型的性能，详情如下：

"mlp": {"gate_up": 1.0, "down": 1.0}

以上值为默认配置，当 --max-num-seqs 为144时，该默认值对Qwen3-235B-A22B-W8A8有良好的性能表现；当 --max-num-seqs 为72时，对Qwen3-32B-W8A8有良好的性能表现。

然而，这可能不是您场景下的最佳配置。对于更高的并发度，您可以尝试增加预取大小。对于较低的并发度，预取可能没有任何优势，因此您可以减小大小或禁用预取。通过收集性能分析数据来确定预取大小是否合适。具体来说，检查预取操作（例如，MLP Down Proj权重预取）所需的时间是否与并行向量计算算子（例如，SwiGlu计算）所需的时间重叠，并且预取操作是否不晚于向量计算算子的完成时间。在性能分析时间线中，预取操作显示为单个流上的CMO操作；这个CMO操作就是预取操作。

注意事项：

MLP down 投影的权重预取依赖于序列并行，如果您想为mlp down 开启预取，请同时启用序列并行。
由于当前L2缓存的大小，最大预取不能超过18MB。如果 prefetch_ratio * linear_layer_weight_size >= 18 * 1024 * 1024 字节，后端将仅预取18 MB。

示例#

对于MoE模型：

    --additional-config \
    '{
        "weight_prefetch_config": {
            "enabled": true,
            "prefetch_ratio": {
                "attn": {
                    "qkv": 1.0,
                    "o": 1.0
                },
                "moe": {
                    "gate_up": 0.8
                }
            }
        }
    }'

对于Dense模型：

以下是当 --max-num-seqs 为72时，能为Qwen3-32B-W8A8获得良好性能的默认配置

    --additional-config \
    '{
        "weight_prefetch_config": {
            "enabled": true,
            "prefetch_ratio": {
                "mlp": {
                    "gate_up": 1.0,
                    "down": 1.0
                }
            }
        }
    }'

权重预取指南

目录

权重预取指南#

快速开始#

微调预取比例#

示例#