结构化输出指南

概述

什么是结构化输出？

当你需要特定格式输出时，大型语言模型（LLMs）可能表现出不可预测性。比如让模型生成 JSON，如果没有指导，模型可能会生成有效的文本，但这些文本却不符合 JSON 规范。结构化输出（也称为引导解码） 能让大型语言模型生成符合预期结构的输出，同时保留系统的非确定性特性。

简单来说，结构化解码为LLM提供了一个“模板”来遵循。用户提供一个模式来“影响”模型的输出，从而确保输出符合期望的结构。

vllm-ascend 中的结构化输出

目前，vllm-ascend 中结构化输出的使用方式与 vllm 完全相同。

有关这些用法的更多示例和说明，请参阅 vLLM 官方文档。