减少大型语言模型中的选择偏差

大型语言模型（LLM），如gpt-3.5-turbo-0613和claude-instant-1.2，在解释和执行语义任务中至关重要。不幸的是，这些模型固有的偏差对其性能产生了不利影响。尤其受影响的是从列表中选择对象，这是数字导航和决策中的基本操作。本研究批判性地审视了这些偏差，并量化了它们对代表性列表选择任务的影响。为了探索这些偏差，我们实验操纵了温度、列表长度、对象身份、对象类型、提示复杂度和模型。我们分离并测量了偏差对选择行为的影响。我们的发现表明，偏差结构强烈依赖于模型，对象类型调节了影响的大小。存在强烈的首因效应，导致列表中的第一个对象在输出中被过度代表。使用护栏（一种确保响应结构的提示工程方法）会增加偏差并降低对选择任务的指令遵循度。当护栏步骤与列表采样步骤分离时，偏差被消除，从而降低了每个单独任务的复杂性。我们提供了LLM应用，并从理论上提出LLM经历一种认知负荷，这种负荷通过偏差得到补偿。