Co$^2$PT：通过反事实对比提示调优缓解预训练语言模型中的偏见
计算与语言
2023-10-20 v1
摘要
预训练语言模型在许多重要的现实应用中被广泛使用。然而，最近的研究表明，这些模型会从大规模预训练语料中编码社会偏见，甚至在下游应用中放大偏见。为应对这一挑战，我们提出CoPT，一种高效且有效的“在提示调优的同时去偏”方法，通过在下游任务上进行反事实对比提示调优来缓解偏见。我们在三个外在偏见基准上进行的实验证明了CoPT在提示调优过程中缓解偏见的有效性，以及其对现有上游去偏语言模型的适应性。这些发现表明了CoPT的优势，并为在下游任务中进一步改进偏见缓解提供了有前景的途径。
引用
@article{arxiv.2310.12490,
title = {Co$^2$PT: Mitigating Bias in Pre-trained Language Models through Counterfactual Contrastive Prompt Tuning},
author = {Xiangjue Dong and Ziwei Zhu and Zhuoer Wang and Maria Teleki and James Caverlee},
journal= {arXiv preprint arXiv:2310.12490},
year = {2023}
}
备注
To appear in Findings of EMNLP 2023