结构化输出

概述

什么是结构化输出？

当你需要特定格式的输出时，大型语言模型（LLMs）的表现可能是不可预测的。比如让模型在没有引导的情况下生成 JSON，它可能会产出看起来合法但实际上违反 JSON 规范的文本。结构化输出（也称为引导解码 Guided Decoding） 能够让 LLM 生成符合预定结构的输出，同时保留系统本身的非确定性生成特性。

简单来说，结构化解码为 LLM 提供了一个可以遵循的“模板”。用户提供一个模式（Schema）来“影响”模型的输出，从而确保其符合预期的结构。

在 vllm-ascend 中的用法

目前，vllm-ascend 中结构化输出功能的使用方法与 vllm 完全一致。

您可以在 vLLM 官方文档 中找到更多示例和用法说明。