结构化输出指南¶
概述¶
什么是结构化输出？¶
当您需要特定格式的输出时，LLM可能难以预测。想象一下，在没有指导的情况下让模型生成JSON：它可能会生成有效但不符合JSON规范的文本。结构化输出（也称为引导解码）使LLM能够生成遵循所需结构的输出，同时保持系统的非确定性特性。
简单来说，结构化解码为大语言模型提供了一个可遵循的“模板”。用户提供一种“影响”模型输出的模式，确保其符合所需结构。
在 vllm-ascend 中的使用¶
目前，vllm-ascend中结构化输出功能的使用方式与vLLM中的完全一致。
更多关于这些用法的示例和说明，请参阅 vLLM 官方文档。