关于大模型的结构化输出

𝒦评价为：无聊。

今天听了一个关于使用大模型获得符合规则的结构化输出的工作。首先输出得是结构化的（如合法的json文本，引号括号均匹配等等），其次得符合用户指定的规范（schema）。比如必须是一列对象，其中每个对象必须有哪些键，各个键的值又分别是什么类型，诸如此类。

介绍的工作是采用先生成后筛选的思路。按下不表。

首先将所需的结构化输出转化为对应的语法树。规范一定程度上固定了树的形状，留下内容的「洞」给大模型去填。

大模型不需要把内容连带结构一起输出出来，只要专心填洞，然后通过后处理自动转化为所需的结构化形式。

除此之外，还需要一定量的提示符工程（prompt engineering）来把用户原本指定的结构化输出任务转化为填洞任务。

这种方案的优势：略。

我比较想看见的是利用直接输出语法树来构造代码。语法正确率应该是无限接近100%。

然后直接特化训练出只输出代码的大模型。和后一篇中的大模型形成某种联动。