gpt-oss-120b

gpt-oss-120b#

简介#

gpt-oss-120b和gpt-oss-20b是两个开放权重的推理模型，在准确性和推理成本方面达到了前沿水平。这些模型采用高效的混合专家Transformer架构，并通过大规模蒸馏和强化学习进行训练。我们优化了模型，使其具备强大的智能体能力（深度研究浏览、Python工具使用，以及支持开发者提供的函数），同时使用渲染的聊天格式，实现清晰的指令遵循和角色划分。两个模型在数学、编程和安全等基准测试中均取得了优异的结果。我们以Apache 2.0许可证发布模型权重、推理实现、工具环境和分词器，以支持广泛使用和进一步研究

支持特性#

请参考支持特性获取模型支持的特性矩阵。

请参考特性指南获取特性的配置。

环境准备#

模型权重#

gpt-oss-120b(bf16版本)：需要1个Atlas 800 A3（64G × 16）节点或1个Atlas 800 A2（64G × 8）节点。下载模型权重

安装#

您可以使用我们的官方Docker镜像来支持gpt-oss-120b-bf16模型。目前，我们提供一体化镜像。下载镜像

Docker拉取（按标签）#

docker pull quay.io/ascend/vllm-ascend:v0.21.0rc1

Docker运行#

# Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
# Update the vllm-ascend image according to your environment.
# Note you should download the weight to /root/.cache in advance.
# For Atlas A2 machines:
# export IMAGE=quay.io/ascend/vllm-ascend:v0.21.0rc1
# For Atlas A3 machines:
export IMAGE=quay.io/ascend/vllm-ascend:v0.21.0rc1-a3
docker run --rm \
    --name vllm-ascend-env \
    --shm-size=1g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

默认工作目录为/workspace，vLLM和vLLM Ascend代码放置在/vllm-workspace中，并以开发模式（pip install -e）安装，帮助开发者立即生效更改而无需重新安装。

此外，如果您不想使用上述Docker镜像，也可以从源码构建所有内容：

从源码安装vllm-ascend，请参考安装指南。

部署#

故障排除#

遇到问题

"openai_harmony.HarmonyError: error downloading or loading vocab file: failed to download or load vocab error"

解决方案：这是由openai_harmony代码中的bug引起的。可以通过提前下载tiktoken编码文件并设置TIKTOKEN_ENCODINGS_BASE环境变量来解决。更多信息请参见此GitHub问题。

mkdir -p tiktoken_encodings
wget -O tiktoken_encodings/o200k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/o200k_base.tiktoken"
wget -O tiktoken_encodings/cl100k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken"
export TIKTOKEN_ENCODINGS_BASE=${PWD}/tiktoken_encodings

单节点部署#

gpt-oss-120b可以部署在1个Atlas 800 A3（64G × 16）或1个Atlas 800 A2（64G × 8）上。

运行以下脚本执行在线推理。

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# To reduce memory fragmentation and avoid out of memory
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=512
export NPU_MEMORY_FRACTION=0.95
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
export OMP_PROC_BIND=false
export VLLM_USE_V1=1
export TASK_QUEUE_ENABLE=1
export OMP_NUM_THREADS=1
export TIKTOKEN_ENCODINGS_BASE=/${PWD}/tiktoken_encodings

vllm serve unsloth/gpt-oss-120b-BF16 \
--served-model-name gpt-oss-120b-bf16 \
--port 8000 \
--trust-remote-code \
--max-num-seqs 4 \
--gpu-memory-utilization 0.90 \
--tensor-parallel-size 4 \
--max-model-len 4096 \
--max-num-batched-tokens 4096 \
--enable-expert-parallel \
--compilation_config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes":[1,2,3,4]}'

参数说明如下：

--tensor-parallel-size是张量并行（TP）大小的常见设置。
--max-model-len表示上下文长度，即单个请求的输入加输出的最大值。
--max-num-seqs表示每个DP组允许处理的最大请求数。如果发送到服务的请求数超过此限制，多余的请求将保持等待状态且不会被调度。注意，等待状态的时间也会计入TTFT和TPOT等指标。因此，在测试性能时，通常建议--max-num-seqs * --data-parallel-size >= 实际总并发数。
--max-num-batched-tokens表示模型在单步中可以处理的最大token数。目前，vLLM v1调度默认启用ChunkPrefill/SplitFuse，这意味着：
- (1)如果请求的输入长度大于--max-num-batched-tokens，则会根据--max-num-batched-tokens将其分成多轮计算；
- (2)解码请求优先调度，预填充请求仅在有空闲容量时才会被调度。
- 通常，如果--max-num-batched-tokens设置得较大，整体延迟会更低，但对GPU内存（激活值使用）的压力会更大。
--gpu-memory-utilization表示vLLM将用于实际推理的HBM比例。其基本功能是计算可用的kv_cache大小。在预热阶段（vLLM中称为profile run），vLLM记录输入大小为--max-num-batched-tokens的推理过程中的峰值GPU内存使用量。然后可用kv_cache大小计算为：--gpu-memory-utilization * HBM大小 - 峰值GPU内存使用量。因此，--gpu-memory-utilization的值越大，可使用的kv_cache就越多。但由于预热阶段的GPU内存使用可能与实际推理不同（例如，由于EP负载不均），将--gpu-memory-utilization设置过高可能导致实际推理中出现OOM（内存不足）问题。默认值为0.9。
--compilation-config包含与aclgraph图模式相关的配置。最重要的配置是"cudagraph_mode"和"cudagraph_capture_sizes"，含义如下："cudagraph_mode"：表示具体的图模式。目前支持"PIECEWISE"和"FULL_DECODE_ONLY"。图模式主要用于降低算子调度的开销。目前推荐使用"FULL_DECODE_ONLY"。
"cudagraph_capture_sizes"：表示不同级别的图模式。默认值为[1, 2, 4, 8, 16, 24, 32, 40,..., --max-num-seqs]。在图模式下，不同级别图的输入是固定的，级别之间的输入会自动填充到下一级别。目前推荐使用默认设置。仅在部分场景下需要单独设置以达到最佳性能。

功能验证#

服务器启动后，您可以使用输入提示查询模型：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "gpt-oss-120b-bf16",
        "messages": [{"role":"user", "content":"who are you"}]
    }'

精度评估#

这里提供两种精度评估方法。

使用AISBench#

详情请参考使用AISBench。
执行后，您可以获得结果，以下是gpt-oss-120b-bf16的结果，仅供参考。

数据集	版本	指标	模式	vllm-api-general-chat
mmlu	-	准确率	生成	89.50

性能#

使用AISBench#

详情请参考使用AISBench进行性能评估。

使用vLLM基准测试#

以gpt-oss-120b-BF16为例运行性能评估。

更多详情请参考vllm基准测试。

有三个vllm bench子命令：

latency：对单批请求的延迟进行基准测试。
serve：对在线服务吞吐量进行基准测试。
throughput：基准离线推理吞吐量。

以serve为例，运行以下代码。

export VLLM_USE_MODELSCOPE=True
vllm bench serve --model unsloth/gpt-oss-120b-BF16 --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，即可获得性能评估结果。