大语言模型决策中的认知偏差
人工智能
2024-10-07 v3 计算与语言
摘要
大语言模型（LLM）作为支持日益广泛的决策任务的工具，展现出巨大的潜力。鉴于其是在人类（创造）数据上训练的，LLM 已被证明继承了对受保护群体的社会偏见，同时也受到功能上类似于认知偏差的偏见的影响。类人偏差可能会阻碍利用 LLM 辅助做出的公平且可解释的决策。我们的工作引入了 BiasBuster，这是一个旨在发现、评估和减轻 LLM 中认知偏差的框架，特别是在高风险决策任务中。受心理学和认知科学先前研究的启发，我们开发了一个包含 13,465 个提示的数据集，用于评估 LLM 在不同认知偏差（例如提示诱导、顺序性、固有性）上的决策。我们测试了各种偏差缓解策略，同时提出了一种利用 LLM 消除提示中自身类人认知偏差的新方法。我们的分析全面展示了商业和开源模型中认知偏差的存在及其影响。我们证明，我们的自助去偏差方法能有效减轻显示出类似人类认知偏差模式的模型回答，而无需为每种偏差手动构建示例。
引用
@article{arxiv.2403.00811,
title = {Cognitive Bias in Decision-Making with LLMs},
author = {Jessica Echterhoff and Yao Liu and Abeer Alessa and Julian McAuley and Zexue He},
journal= {arXiv preprint arXiv:2403.00811},
year = {2024}
}