DeCAP：用于在大型语言模型中消除零样本问答偏见的上下文自适应提示生成
计算与语言
2025-03-26 v1 人工智能
计算机与社会
摘要
尽管大型语言模型（LLMs）在零样本问答（QA）中表现出色，但当面对社会敏感问题时，它们倾向于暴露出内部知识中的偏见，从而导致性能下降。现有的零样本方法效率较高，但未能考虑上下文，也无法防止偏见在答案中传播。为解决这一问题，我们提出了 DeCAP，一种通过上下文自适应提示生成来消除 LLM 偏见的方法。DeCAP 利用问题歧义检测，根据上下文采取适当的去偏见操作，并通过中性答案引导生成来抑制 LLM 对上下文做出主观判断，从而最大限度地减少其内部知识中偏见的传播。我们在八个 LLM 上进行的多种实验表明，DeCAP 实现了当前最优的零样本去偏见问答性能。这证明了 DeCAP 在不同问答场景中提升 LLM 公平性与准确性的有效性。
引用
@article{arxiv.2503.19426,
title = {DeCAP: Context-Adaptive Prompt Generation for Debiasing Zero-shot Question Answering in Large Language Models},
author = {Suyoung Bae and YunSeok Choi and Jee-Hyong Lee},
journal= {arXiv preprint arXiv:2503.19426},
year = {2025}
}
备注
Accepted to NAACL 2025 main. 20 pages, 3 figures