gpt-oss-120b¶

简介¶

gpt-oss-120b 和 gpt-oss-20b 是两个开放权重的推理模型，在准确性和推理成本方面达到了前沿水平。这些模型采用高效的混合专家（MoE）Transformer 架构，并通过大规模蒸馏和强化学习进行训练。我们优化了模型以具备强大的智能体能力（深度研究浏览、Python 工具使用以及支持开发者提供的函数），同时使用渲染的聊天格式，实现清晰的指令遵循和角色划分。这两个模型在数学、编程和安全性等基准测试中均取得了优异的结果。我们以 Apache 2.0 许可证发布模型权重、推理实现、工具环境和分词器，以促进广泛使用和进一步研究。

支持的特性¶

请参考支持的特性了解模型支持的特性矩阵。

请参考特性指南了解特性的配置方法。

环境准备¶

模型权重¶

gpt-oss-120b（bf16 版本）：需要 1 个 Atlas 800 A3（64G × 16）节点或 1 个 Atlas 800 A2（64G × 8）节点。下载模型权重

安装¶

您可以使用我们的官方 Docker 镜像来支持 gpt-oss-120b-bf16 模型。目前，我们提供一体化镜像。下载镜像

Docker 拉取（按标签）¶

docker pull quay.io/ascend/vllm-ascend:v0.22.1rc1

Docker 运行¶

# Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
# Update the vllm-ascend image according to your environment.
# Note you should download the weight to /root/.cache in advance.
# For Atlas A2 machines:
# export IMAGE=quay.io/ascend/vllm-ascend:v0.22.1rc1
# For Atlas A3 machines:
export IMAGE=quay.io/ascend/vllm-ascend:v0.22.1rc1-a3
docker run --rm \
    --name vllm-ascend-env \
    --shm-size=1g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

默认工作目录为 /workspace，vLLM 和 vLLM Ascend 代码位于 /vllm-workspace，并以开发模式（pip install -e）安装，以便开发者立即应用更改，无需重新安装。

此外，如果您不想使用上述 Docker 镜像，也可以从源码构建所有内容：

从源码安装 vllm-ascend，请参考安装指南。

部署¶

故障排除¶

遇到

"openai_harmony.HarmonyError: error downloading or loading vocab file: failed to download or load vocab error"

解决方案：这是由 openai_harmony 代码中的错误引起的。可以通过提前下载 tiktoken 编码文件并设置 TIKTOKEN_ENCODINGS_BASE 环境变量来解决。有关更多信息，请参阅此 GitHub 问题。

mkdir -p tiktoken_encodings
wget -O tiktoken_encodings/o200k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/o200k_base.tiktoken"
wget -O tiktoken_encodings/cl100k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken"
export TIKTOKEN_ENCODINGS_BASE=${PWD}/tiktoken_encodings

单节点部署¶

gpt-oss-120b 可以部署在 1 个 Atlas 800 A3（64G × 16）或 1 个 Atlas 800 A2（64G × 8）上。

运行以下脚本执行在线推理。

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# To reduce memory fragmentation and avoid out of memory
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=512
export NPU_MEMORY_FRACTION=0.95
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
export OMP_PROC_BIND=false
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1
export OMP_NUM_THREADS=1
export TIKTOKEN_ENCODINGS_BASE=/${PWD}/tiktoken_encodings

vllm serve unsloth/gpt-oss-120b-BF16 \
--served-model-name gpt-oss-120b-bf16 \
--port 8000 \
--trust-remote-code \
--max-num-seqs 4 \
--gpu-memory-utilization 0.90 \
--tensor-parallel-size 4 \
--max-model-len 4096 \
--max-num-batched-tokens 4096 \
--enable-expert-parallel \
--compilation_config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes":[1,2,3,4]}'

参数说明如下：

--tensor-parallel-size 是张量并行（TP）大小的常见设置。
--max-model-len 表示上下文长度，即单个请求的输入加输出的最大值。
--max-num-seqs 表示每个DP组允许处理的最大请求数。如果发送到服务的请求数超过此限制，多余的请求将保持等待状态，不会被调度。请注意，等待状态所花费的时间也会计入TTFT和TPOT等指标。因此，在测试性能时，通常建议 --max-num-seqs * --data-parallel-size >= 实际总并发数。
--max-num-batched-tokens 表示模型单步可处理的最大token数。目前，vLLM v1调度默认启用ChunkPrefill/SplitFuse，这意味着：
- (1) 如果请求的输入长度大于 --max-num-batched-tokens，则会根据 --max-num-batched-tokens 将其分成多轮计算；
- (2) 优先调度解码请求，仅在有空闲容量时才调度预填充请求。
- 通常，如果 --max-num-batched-tokens 设置得较大，整体延迟会降低，但对GPU内存（激活值使用）的压力会更大。
--gpu-memory-utilization 表示vLLM将用于实际推理的HBM比例。其核心功能是计算可用的kv_cache大小。在预热阶段（vLLM中称为profile run），vLLM会记录输入大小为 --max-num-batched-tokens 的推理过程中的峰值GPU内存使用量。可用的kv_cache大小计算方式为：--gpu-memory-utilization * HBM大小 - 峰值GPU内存使用量。因此，--gpu-memory-utilization 的值越大，可用的kv_cache就越多。然而，由于预热阶段的GPU内存使用可能与实际推理阶段不同（例如，由于EP负载不均衡），将 --gpu-memory-utilization 设置过高可能会导致实际推理时出现OOM（内存不足）问题。默认值为 0.9。
--compilation-config 包含与aclgraph图模式相关的配置。其中最重要的配置是 "cudagraph_mode" 和 "cudagraph_capture_sizes"，其含义如下： "cudagraph_mode"：表示具体的图模式。目前支持 "PIECEWISE" 和 "FULL_DECODE_ONLY"。图模式主要用于降低算子调度的开销。目前推荐使用 "FULL_DECODE_ONLY"。
"cudagraph_capture_sizes"：表示不同级别的图模式。默认值为 [1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]。在图模式下，不同级别图的输入是固定的，级别之间的输入会自动填充到下一级别。目前推荐使用默认设置。仅在部分场景下需要单独设置以达到最佳性能。

功能验证¶

服务器启动后，您可以使用输入提示词查询模型：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "gpt-oss-120b-bf16",
        "messages": [{"role":"user", "content":"who are you"}]
    }'

精度评估¶

以下是两种精度评估方法。

使用 AISBench¶

详情请参考使用 AISBench。
执行后可获得结果，以下为 gpt-oss-120b-bf16 的结果，仅供参考。

数据集	版本	指标	模式	vllm-api-general-chat
mmlu	-	accuracy	gen	89.50

性能¶

使用 AISBench¶

详情请参考使用 AISBench 进行性能评估。

使用 vLLM 基准测试¶

以 gpt-oss-120b-BF16 为例运行性能评估。

更多详情请参考 vllm 基准测试。

有三个 vllm bench 子命令：

latency：对单批请求的延迟进行基准测试。
serve：对在线服务吞吐量进行基准测试。
throughput：对离线推理吞吐量进行基准测试。

以 serve 为例，运行代码如下。

export VLLM_USE_MODELSCOPE=True
vllm bench serve --model unsloth/gpt-oss-120b-BF16 --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，即可获得性能评估结果。