结构化输出指南

概述

什么是结构化输出？

当您需要特定格式的输出时，大型语言模型的表现可能是不可预测的。比如让模型在没有引导的情况下生成 JSON，它可能会产出看起来合法但实际上违反 JSON 规范的文本。**结构化输出（也称为引导解码）**能够让 LLM 生成符合预定结构的输出，同时保留系统本身的非确定性生成特性。

简单来说，结构化解码为 LLM 提供了一个可以遵循的“模板”。用户提供一个模式来“影响”模型的输出，从而确保其符合预期的结构。

在 vllm-ascend 中的用法

目前，vllm-ascend 中结构化输出功能的使用方法与 vLLM 完全一致。

您可以在 vLLM 官方文档 中找到更多示例和用法说明。