通过反事实增强校准缓解大型语言模型在立场检测中的偏见
计算与语言
2025-02-11 v4
摘要
立场检测对于理解对某个主题所表达的基本立场或态度至关重要。大型语言模型（LLM）在各种自然语言处理任务（包括立场检测）中取得了显著进展，然而，它们在立场检测中的性能受到其数据驱动性质固有的偏见和虚假相关性的限制。我们的统计实验表明，LLM由于情感-立场虚假相关性和对某些个体及主题的偏好，容易产生有偏见的立场。此外，结果显示了立场偏见与立场检测性能之间的强负相关性，强调了减轻偏见以增强LLM在立场检测中实用性的重要性。因此，在本文中，我们提出了一种反事实增强校准网络（FACTUAL），该网络设计了一种新颖的校准网络来校准LLM立场预测中的潜在偏见。此外，为了解决有效学习偏见表示和去偏见泛化困难的问题，我们构建了反事实增强数据。这种方法增强了校准网络，促进了去偏见和域外泛化。在目标内和零样本立场检测任务上的实验结果表明，所提出的FACTUAL可以有效减轻LLM的偏见，取得了最先进的结果。
引用
@article{arxiv.2402.14296,
title = {Mitigating Biases of Large Language Models in Stance Detection with Counterfactual Augmented Calibration},
author = {Ang Li and Jingqian Zhao and Bin Liang and Lin Gui and Hui Wang and Xi Zeng and Xingwei Liang and Kam-Fai Wong and Ruifeng Xu},
journal= {arXiv preprint arXiv:2402.14296},
year = {2025}
}
备注
NAACL'25