更多即更好：大型语言模型中的加法偏差

本文探讨了大型语言模型（LLM）中存在的加法偏差，借此类比于人类认知偏差，即个体倾向于偏好加法而非减法的变更。通过一系列受控实验，我们测试了包括 GPT-3.5 Turbo、Claude 3.5 Sonnet、Mistral、Math$\Sigma$tral 和 Llama 3.1 在内的各种大型语言模型，针对测量其在加法与减法修改倾向上的任务。我们的发现表明，所有测试模型均显著偏好加法变更。例如，在回文创建任务中，Llama 3.1 在97.85%的情况下倾向于添加字母而非删除。在积木塔平衡任务中，GPT-3.5 Turbo 在76.38%的情况下选择添加积木而非移除。在文本摘要任务中，Mistral 7B 在被要求改进其自身或他人写作时，59.40%至75.10%的情况下生成更长的摘要。这些结果表明，类似于人类，大型语言模型表现出显著的加法偏差，这可能对大规模使用大型语言模型产生影响。加法偏差可能增加资源消耗和环境影响，导致因过度消费和浪费而产生更高的经济成本。应在大型语言模型的开发和应用中考虑这一偏差，以确保平衡且高效的问题解决方法。