结构化输出指南

概述

什么是结构化输出？

当您需要特定格式的输出时，LLM 可能难以预测。试想在没有指导的情况下让模型生成 JSON：它可能会生成有效但不符合 JSON 规范的文本。**结构化输出（也称为引导解码）**使 LLM 能够生成遵循所需结构的输出，同时保留系统的非确定性特性。

简单来说，结构化解码为LLM提供了一个可遵循的"模板"。用户提供一种"影响"模型输出的模式，确保其符合所需结构。

在vllm-ascend中的使用

目前，vllm-ascend 中结构化输出功能的使用方式与 vLLM 中的完全相同。

更多关于这些用法的示例和说明，请参见vLLM官方文档。