大语言模型在歧义下的自一致性

大型语言模型（LLMs）若在不同上下文中给出不一致的答案，在用于具有一致性预期的任务（例如问答、解释等）时会出现问题。我们的工作提出了一个在不完全规定情形下（两个或更多答案可能都正确）评估自一致性的基准。我们使用一个歧义整数序列补全任务，在OpenAI模型系列上进行了一系列行为实验。我们发现平均一致性在67%到82%之间，远高于若模型一致性为随机时所预测的值，且随模型能力增强而提高。此外，我们表明模型在一系列鲁棒性检查（包括提示说话人变更与序列长度变更）中倾向于保持自一致性。这些结果表明自一致性是作为一种涌现能力出现，而非专门训练所得。尽管如此，我们发现模型在判断自身一致性时未经过校准，表现出过度自信与信心不足。我们还提出了一种非参数检验，用于根据词元输出分布判断模型是否为替代答案分配了非平凡概率。使用该检验，我们发现尽管自一致性提高，模型通常仍对替代的、不一致的答案赋予显著权重。这种概率质量的分布证明即便高度自一致的模型也在内部计算了多种可能的响应。