运行时配置¶
Runtime Guard 的 JSON schema。默认路径:<cwd>/runtime/config/runtime_config.json。
默认值在代码中定义(runtime_config._defaults);手动编辑实时文件时支持 JSONC 注释。
启动时覆盖: worker 启动时,JSON 写入器会将默认值 ← additional_config.runtime_config 覆盖层实例化,并覆盖任何已存在的文件。启动之前所做的手动编辑会丢失,除非它们位于覆盖层中。推荐做法:以 runtime_config_hot_reload=true 启动,然后编辑实时文件(或通过覆盖层设置水位线)。
启动键(runtime_config_path、runtime_config_hot_reload、覆盖层字典)记录在附加配置中。
顶层键¶
| Key | Type | Default | Description |
|---|---|---|---|
actions |
object | 见下文 | 默认事件动作 |
dump |
object | 见下文 | 自动 dump 配额和手动 dump 控制 |
ascend_log |
object | 见下文 | 昇腾日志级别覆盖 |
report |
object | 见下文 | 报告内容和截断 |
detector |
object | 见下文 | 检测器配置段 + 共享标志 |
热重载是仅启动时的(additional_config.runtime_config_hot_reload);它不是 JSON 字段。同步传输方式是固定的:last-PP × all TP 使用合并的 due 总线;其他进程轮询此 JSON 文件。
actions¶
| Key | Type | Default | Description |
|---|---|---|---|
defaults.on_trigger |
list[str] | ["report"] |
当检测器配置段省略 on_trigger 时的动作 |
有效的动作名称:report、dump_kv。ActionQueue 容量是固定的内部常量(不在 JSON 中暴露)。
dump¶
| Key | Type | Default | Description |
|---|---|---|---|
auto_max_times |
int | 0 |
每个进程生命周期内自动 dump_kv 捕获的最大次数。0 禁用自动 dump 配额 |
auto_cooldown_seconds |
float | 300 |
成功消耗配额后自动 dump 之间的最小秒数(退还配额会清除此冷却) |
manual_dump |
bool | int | false |
手动 dump 水位线:false、正整数 N(追赶模式:当进程 done < N 时,每个已武装的 wave dump 一次;推荐逐步递增 1→2→3),或 true(持续;不推荐)。进程永远不会重写它。如果磁盘值 ≤ done,则跳过。设置 N=5 且 done=0 时,会在后续 wave 中触发约五次 dump。报告 / .pt 携带 manual_dump_count(从 1 开始的序号)。多 DP:每个副本跟踪自己的 done。运维: 先启动服务器,然后在实时 JSON 中提高 N(需要热重载)。 |
dump_dir |
str | null | 派生 | KV dump 根目录(默认 <report_dir>/kv_cache)。布局:<dump_root>/<incident_type>/<req_id>/dp*_tp*_pp*_cp*/*.pt。覆盖范围为 last PP × all TP(不包括其他 PP)。 |
dump_kv 的可用空间余量(estimated payload + headroom)是固定的内部常量(5 GiB),不是 JSON 字段。
手动 dump / 手动触发会跳过自动配额和冷却。需要 runtime_config_hot_reload=true。
report¶
| Key | Type | Default | Description |
|---|---|---|---|
save_sensitive_info |
bool | false |
持久化 prompt/output token id 并将其解码为文本 |
max_prompt_token_ids |
int | 100000 |
截断持久化的 prompt id(0 = 不限制) |
max_output_token_ids |
int | 100000 |
截断持久化的 output id |
max_per_req |
int | 1 |
每个 (incident_type, req_id) 的最大报告文件数;达到上限后,停止检测该请求。当上限 > 1 时,写入之间采用 wave 退避(64×2ⁿ) |
GPU block_ids 始终包含在报告详情中。将 token id 解码为文本遵循 save_sensitive_info(没有单独的开关)。
[SamplingMeta] 在 after-sample 路径(TP0 + last PP)上以 DEBUG 级别输出。通过 ascend_log / vllm_ascend.observability.runtime_guard 的 logger 级别启用——没有 JSON 开关。
ascend_log¶
| Key | Type | Default | Description |
|---|---|---|---|
level |
str | "INFO" |
基础昇腾日志级别 |
debug |
list[str] | [] |
在 vllm_ascend 下强制为 DEBUG 的模块路径前缀 |
modules |
object | {} |
按 logger 的覆盖,例如 {"vllm.worker": "WARNING"} |
detector(共享)¶
停止检测由 report.max_per_req(写满)控制,而不是共享的检测器标志。
默认 actions.defaults.on_trigger 包含 report。
检测器 JSON 配置段在每个检测器类(schema)上声明,并
注册在 runtime_config.detector_catalog 中——在那里添加/移除检测器
即可刷新默认值、校验和控制面板字段列表。
每个嵌套的检测器配置段支持:
| 键 | 类型 | 描述 |
|---|---|---|
enabled |
bool | 总开关(默认 false) |
on_trigger |
list[str] | 覆盖此事件类型的动作 |
dump_kv |
object | 按类型的 dump 选项:scope(request | all_requests)。Finish-wave 武装仍会 dump;产物可能设置 request_finished_at_dump: true(KV 可能已被释放/复用——应视为可疑)。 |
spec_acceptance¶
| Key | Type | Default | Description |
|---|---|---|---|
window |
int | 10 |
滚动窗口大小 |
low_threshold |
float | 0.3 |
低接受率阈值 |
len_low_threshold |
float | 1.4 |
低接受率时的长度比 |
high_threshold |
float | 0.96 |
高接受率阈值 |
len_high_threshold |
float | 2.8 |
高接受率下的长度比 |
每请求 INFO 短日志节流是固定的内部间隔(2 秒),不是 JSON 字段。
token_repeat¶
| Key | Type | Default | Description |
|---|---|---|---|
window |
int | 32 |
滑动内容窗口 |
repeat_sum_threshold |
int | 64 |
当重复分数之和超过此值时告警 |
min_tokens |
int | 32 |
触发告警前的最小内容 token 数 |
consecutive_hits |
int | 1 |
所需的连续超阈值步数 |
ignore_token_ids |
list[int] | [] |
从窗口评分中排除的 token id |
logits_finite¶
| Key | Type | Default | Description |
|---|---|---|---|
enabled |
bool | false |
在采样前对 NaN/Inf logits 告警 |
item_sync |
bool | false |
false:异步 .item() —— 在预采样时对全有限门控进行非阻塞 D2H;在采样后 / get_output 中等待。Logits 之后可能被修改(例如 grammar 位掩码写入 -inf);门控仍使用预计算的 row_finite,但命中时的 finite_kind 可能反映修改后的值。true:在预采样时进行阻塞式 .item()(+ 命中解析),使门控和 kind 与 grammar 之前的 logits 一致。 |
延迟告警批次队列上限是固定的内部常量,不是 JSON 字段。
每一步都会执行一次设备端 isfinite 归约和一个全有限门控。默认路径会启动该门控的非阻塞主机拷贝,并在 check_deferred 中等待。仅在命中时,才会解析坏行 / logits_indices / finite_kind(需要时会在预采样时对索引进行快照)。当你需要针对原始预采样 logits 进行 kind/归因时,请设置 item_sync: true。已废弃:check_every_tokens(多步窗口)—— 如果存在则忽略。
manual_trigger¶
不是检测器 —— 而是 dump.manual_dump 的控制平面。始终对实时批次运行 dump_kv(scope=all_requests;配置的 dump_kv.scope 会被忽略)。on_trigger 仍可列出 report / 其他动作;如果省略,则应用 actions.defaults 并注入 dump_kv。
优先使用 dump.manual_dump: 1,然后递增到 2、3、…… 以进行另一次捕获(在服务器已通过热重载运行之后)。持续 true / 大幅跳变对调试帮助不大,并且可能淹没动作队列和磁盘(N=5 且 done=0 时,会在约 5 个波次中进行追赶式 dump)。
N 是一个水位线,而不是剩余计数器。进程会维护一个内存中的 done 计数(绝不会写回 JSON)。当 done < N 时,每个已武装且带有计划 token 的波次都会触发一次 dump 并递增 done(即使 dump_kv 入队失败 —— 仍会写入跳过标记)。如果磁盘上的值 ≤ done,则不进行 dump。若要在完成后再次 dump,请将 N 提高到 done 之上。报告和 dump 负载包含 manual_dump_count(该波次的从 1 开始的序号)和 manual_dump_target。多个 DP 共享一个文件时:每个副本跟踪各自的 done。
示例(检测 + 重复时 dump)¶
{
"dump": {
"auto_max_times": 5,
"auto_cooldown_seconds": 300
},
"detector": {
"token_repeat": {
"enabled": true,
"window": 32,
"repeat_sum_threshold": 64,
"on_trigger": ["report", "dump_kv"],
"dump_kv": { "scope": "request" }
}
},
"report": {
"save_sensitive_info": true,
"max_output_token_ids": 500
}
}
相关文档¶
- Runtime Guard 功能指南
- 设计 / 运维(分析分支):
docs/source/developer_guide/Design_Documents/runtime_guard_{design,ops}.md