引子
在几乎除了聊天以外所有的程序调用场景中，我们都希望 LLM 通过某种结构化的方式来输出，便于后续程序处理。在本文中，我们采用一个推书的例子，通过几种方式由简单到复杂地让 LLM 结构化地输出结果。我采用的方法尽量不依赖某个平台或模型的特有功能，而是一些通用的方式来实现。
这个例子很简单，向 LLM 提供一个主题，然后让它推荐几本相关的书，列出其名称、作者、推荐原因以及发表年份。对应的 prompt 可以这么写：
I want you to recommend some books about {topic}.
一般来说，LLM 会给出一大段话，然后用子弹列表的形式列举（当然这个 prompt 太过简单，不一定我想要的四个字段都有）。
对于「纯文本」，程序显然是无法「稳定」解析的。我们需要让它以某种结构化的方式进行输出，例如 JSON 或者 XML。本文中，我们选择 JSON 作为 「结构化」输出，我们希望 LLM 输出以下格式的内容。
{
"items": [
{
"name": "1984",
"author": "George Orwell",
"reason": "Another classic dystopian novel that explores themes of surveillance, totalitarianism, and individuality in a future society.",
"year_of_publish": 1949
},
{
"name": "Dune",
"author": "Frank Herbert",
"reason": "A sprawling epic set on the desert planet of Arrakis, dealing with politics, religion, and the struggle for control of the planet's valuable spice.",
"year_of_publish": 1965
}
]
}
注：尽管列表也是一个标准的 JSON，但 OpenAI 的 JSON mode 只支持 JSON object，因此套多一层
items。
起手式：输出示例
先说最简单、通常有效的方式：在 system 中以示例的方式要求 LLM 输出对应格式。
I want you to recommend some books about {topic}.
Do NOT include anything other than a json object in your output.
Your output should look like this:
{
"items": [
{
"name": "1984",
"author": "George Orwell",
"reason": "Another classic dystopian novel that explores themes of surveillance, totalitarianism, and individuality in a future society.",
"year_of_publish": 1949
},
{
"name": "Dune",
"author": "Frank Herbert",
"reason": "A sprawling epic set on the desert planet of Arrakis, dealing with politics, religion, and the struggle for control of the planet's valuable spice.",
"year_of_publish": 1965
}
]
}
划重点，Your output should look like this: 让模型以指定的格式输出。
这种方式的好处是非常通用，对任意模型都可以用，而且消耗的 token 数相对比较少（你甚至可以把长文本直接替换成 xxx）。坏处是，当结构比较复杂（例如同时存在多种类型）或者逻辑比较复杂时，或者模型抽风，就容易生成出多余的东西，无法解析到有效的 JSON。
进阶：JSON mode
针对上面模型抽风输出了无效 JSON 的场景，OpenAI 和 Claude都有 JSON mode，其中 Claude 还支持 XML。在指定输出格式后，模型会「尽力保证」输出合法的 JSON object（是的，还是有可能抽风）。
需要注意，OpenAI 的模型需要在 prompt 中包含 「JSON」字样才能启用 JSON mode，否则会生成失败。我们只需稍作修改：
I want you to recommend some books about {topic}.
Do NOT include anything other than a json object in your output.
Your output should be in JSON format. For example:
(...省略示例...)
使用 JSON mode 之后，稳定性会有所提升。
组合拳： few-shot
few-shot（又称少样本提示）是指给模型提供一点示例，从而引导模型实现更好的性能。其实我们的起手式就算是一种 few-shot，但是仅使用了 system 消息。通过增加 user 和 assistant 消息，可能会让效果更好。
--- system ---
I want you to recommend some books about the given topic.
Do NOT include anything other than a json object in your output.
--- user ---
{topic}
--- assistant ---
{
"items": [
{
"name": "1984",
"author": "George Orwell",
"reason": "Another classic dystopian novel that explores themes of surveillance, totalitarianism, and individuality in a future society.",
"year_of_publish": 1949
},
{
"name": "Dune",
"author": "Frank Herbert",
"reason": "A sprawling epic set on the desert planet of Arrakis, dealing with politics, religion, and the struggle for control of the planet's valuable spice.",
"year_of_publish": 1965
}
]
}
这种方式一般会比起手式更稳定，但是也可能会消耗更多的 token。
终结技： JSON schema
如果我们需要给 JSON 引入更加复杂的结构，或者要使用枚举等等，用之前的方式不一定能获得稳定的结构化输出。而 JSON 是有 schema 的，通过指定 JSON schema，我们可以实现更加复杂的结构以及使用枚举等功能。
这里我们增加一个 genre 的枚举字段用来演示。
I want you to recommend some books about {topic}.
Your output should follow the JSON schema below:
{
"type": "object",
"properties": {
"items": {
"type": "array",
"items": {
"type": "object",
"properties": {
"name": {
"type": "string"
},
"author": {
"type": "string"
},
"reason": {
"type": "string"
},
"year_of_publish": {
"type": "number"
},
"genre": {
"type": "string"
"enum": ["SCI-FI", "NON-SCI-FI"]
}
},
"required": [
"name",
"author",
"reason",
"year_of_publish",
"genre"
]
}
}
},
"required": [
"items"
]
}
注意，使用 JSON schema 最好同时打开 JSON mode。通过这种方式，我们不需要给出例子（如果例子不恰当，可能会带偏 LLM，出现抽风），也不需要在 prompt 中再指定某个字段的取值，另外也很方便强类型语言进行后续处理。这种方式消耗的 token 数会更多，但是稳定性更佳。
在实践中，也有人使用 TypeScript 的结构体等方式来实现类似的效果，大体的思路是一样的。
后手：修复 JSON
当生成的 JSON 真的不合法时，可以通过一些方式尝试恢复成合法的 JSON。目前有一些现成的工具，例如以下几个。基本的原理是通过BNF来解析 JSON，通过给数组或对象添加未闭合的括号、给字符串添加引号、调整空白或换行等启发式规则，尝试修复 JSON。
实战经验
- 可以先从最简单的方式入手，如果发现输出不稳定，再辅以其他手段
- 适当降低 Temperature 也有助于生成稳定的结构化输出
- 代码层面需要做好兼容，解析失败时可以采取重试等方法
