跳转至

运行时配置

Runtime Guard 的 JSON schema。默认路径:<cwd>/runtime/config/runtime_config.json。

默认值在代码中定义(runtime_config._defaults);手动编辑实时文件时支持 JSONC 注释。

启动时覆盖: worker 启动时,JSON 写入器会将默认值 ← additional_config.runtime_config 覆盖层实例化,并覆盖任何已存在的文件。启动之前所做的手动编辑会丢失,除非它们位于覆盖层中。推荐做法:以 runtime_config_hot_reload=true 启动,然后编辑实时文件(或通过覆盖层设置水位线)。

启动键(runtime_config_path、runtime_config_hot_reload、覆盖层字典)记录在附加配置中。

顶层键

Key Type Default Description
actions object 见下文 默认事件动作
dump object 见下文 自动 dump 配额和手动 dump 控制
ascend_log object 见下文 昇腾日志级别覆盖
report object 见下文 报告内容和截断
detector object 见下文 检测器配置段 + 共享标志

热重载是仅启动时的(additional_config.runtime_config_hot_reload);它不是 JSON 字段。同步传输方式是固定的:last-PP × all TP 使用合并的 due 总线;其他进程轮询此 JSON 文件。

actions

Key Type Default Description
defaults.on_trigger list[str] ["report"] 当检测器配置段省略 on_trigger 时的动作

有效的动作名称:report、dump_kv。ActionQueue 容量是固定的内部常量(不在 JSON 中暴露)。

dump

Key Type Default Description
auto_max_times int 0 每个进程生命周期内自动 dump_kv 捕获的最大次数。0 禁用自动 dump 配额
auto_cooldown_seconds float 300 成功消耗配额后自动 dump 之间的最小秒数(退还配额会清除此冷却)
manual_dump bool | int false 手动 dump 水位线:false、正整数 N(追赶模式:当进程 done < N 时,每个已武装的 wave dump 一次;推荐逐步递增 1→2→3),或 true(持续;不推荐)。进程永远不会重写它。如果磁盘值 ≤ done,则跳过。设置 N=5 且 done=0 时,会在后续 wave 中触发约五次 dump。报告 / .pt 携带 manual_dump_count(从 1 开始的序号)。多 DP:每个副本跟踪自己的 done。运维: 先启动服务器,然后在实时 JSON 中提高 N(需要热重载)。
dump_dir str | null 派生 KV dump 根目录(默认 <report_dir>/kv_cache)。布局:<dump_root>/<incident_type>/<req_id>/dp*_tp*_pp*_cp*/*.pt。覆盖范围为 last PP × all TP(不包括其他 PP)。

dump_kv 的可用空间余量(estimated payload + headroom)是固定的内部常量(5 GiB),不是 JSON 字段。

手动 dump / 手动触发会跳过自动配额和冷却。需要 runtime_config_hot_reload=true。

report

Key Type Default Description
save_sensitive_info bool false 持久化 prompt/output token id 并将其解码为文本
max_prompt_token_ids int 100000 截断持久化的 prompt id(0 = 不限制)
max_output_token_ids int 100000 截断持久化的 output id
max_per_req int 1 每个 (incident_type, req_id) 的最大报告文件数;达到上限后,停止检测该请求。当上限 > 1 时,写入之间采用 wave 退避(64×2ⁿ)

GPU block_ids 始终包含在报告详情中。将 token id 解码为文本遵循 save_sensitive_info(没有单独的开关)。

[SamplingMeta] 在 after-sample 路径(TP0 + last PP)上以 DEBUG 级别输出。通过 ascend_log / vllm_ascend.observability.runtime_guard 的 logger 级别启用——没有 JSON 开关。

ascend_log

Key Type Default Description
level str "INFO" 基础昇腾日志级别
debug list[str] [] 在 vllm_ascend 下强制为 DEBUG 的模块路径前缀
modules object {} 按 logger 的覆盖,例如 {"vllm.worker": "WARNING"}

detector(共享)

停止检测由 report.max_per_req(写满)控制,而不是共享的检测器标志。 默认 actions.defaults.on_trigger 包含 report。

检测器 JSON 配置段在每个检测器类(schema)上声明,并 注册在 runtime_config.detector_catalog 中——在那里添加/移除检测器 即可刷新默认值、校验和控制面板字段列表。

每个嵌套的检测器配置段支持:

键 类型 描述
enabled bool 总开关(默认 false)
on_trigger list[str] 覆盖此事件类型的动作
dump_kv object 按类型的 dump 选项:scope(request | all_requests)。Finish-wave 武装仍会 dump;产物可能设置 request_finished_at_dump: true(KV 可能已被释放/复用——应视为可疑)。

spec_acceptance

Key Type Default Description
window int 10 滚动窗口大小
low_threshold float 0.3 低接受率阈值
len_low_threshold float 1.4 低接受率时的长度比
high_threshold float 0.96 高接受率阈值
len_high_threshold float 2.8 高接受率下的长度比

每请求 INFO 短日志节流是固定的内部间隔(2 秒),不是 JSON 字段。

token_repeat

Key Type Default Description
window int 32 滑动内容窗口
repeat_sum_threshold int 64 当重复分数之和超过此值时告警
min_tokens int 32 触发告警前的最小内容 token 数
consecutive_hits int 1 所需的连续超阈值步数
ignore_token_ids list[int] [] 从窗口评分中排除的 token id

logits_finite

Key Type Default Description
enabled bool false 在采样前对 NaN/Inf logits 告警
item_sync bool false false:异步 .item() —— 在预采样时对全有限门控进行非阻塞 D2H;在采样后 / get_output 中等待。Logits 之后可能被修改(例如 grammar 位掩码写入 -inf);门控仍使用预计算的 row_finite,但命中时的 finite_kind 可能反映修改后的值。true:在预采样时进行阻塞式 .item()(+ 命中解析),使门控和 kind 与 grammar 之前的 logits 一致。

延迟告警批次队列上限是固定的内部常量,不是 JSON 字段。

每一步都会执行一次设备端 isfinite 归约和一个全有限门控。默认路径会启动该门控的非阻塞主机拷贝,并在 check_deferred 中等待。仅在命中时,才会解析坏行 / logits_indices / finite_kind(需要时会在预采样时对索引进行快照)。当你需要针对原始预采样 logits 进行 kind/归因时,请设置 item_sync: true。已废弃:check_every_tokens(多步窗口)—— 如果存在则忽略。

manual_trigger

不是检测器 —— 而是 dump.manual_dump 的控制平面。始终对实时批次运行 dump_kv(scope=all_requests;配置的 dump_kv.scope 会被忽略)。on_trigger 仍可列出 report / 其他动作;如果省略,则应用 actions.defaults 并注入 dump_kv。

优先使用 dump.manual_dump: 1,然后递增到 2、3、…… 以进行另一次捕获(在服务器已通过热重载运行之后)。持续 true / 大幅跳变对调试帮助不大,并且可能淹没动作队列和磁盘(N=5 且 done=0 时,会在约 5 个波次中进行追赶式 dump)。

N 是一个水位线,而不是剩余计数器。进程会维护一个内存中的 done 计数(绝不会写回 JSON)。当 done < N 时,每个已武装且带有计划 token 的波次都会触发一次 dump 并递增 done(即使 dump_kv 入队失败 —— 仍会写入跳过标记)。如果磁盘上的值 ≤ done,则不进行 dump。若要在完成后再次 dump,请将 N 提高到 done 之上。报告和 dump 负载包含 manual_dump_count(该波次的从 1 开始的序号)和 manual_dump_target。多个 DP 共享一个文件时:每个副本跟踪各自的 done。

"manual_trigger": {
  "on_trigger": ["report", "dump_kv"]
}

示例(检测 + 重复时 dump)

{
  "dump": {
    "auto_max_times": 5,
    "auto_cooldown_seconds": 300
  },
  "detector": {
    "token_repeat": {
      "enabled": true,
      "window": 32,
      "repeat_sum_threshold": 64,
      "on_trigger": ["report", "dump_kv"],
      "dump_kv": { "scope": "request" }
    }
  },
  "report": {
    "save_sensitive_info": true,
    "max_output_token_ids": 500
  }
}

相关文档

  • Runtime Guard 功能指南
  • 设计 / 运维(分析分支):docs/source/developer_guide/Design_Documents/runtime_guard_{design,ops}.md