去偏是否必然导致模型性能退化
计算与语言
2023-06-13 v2
摘要
语言模型中的性别偏见因威胁社会公正而受到充分关注。然而，当前大多数去偏方法在其他任务上的模型性能有所退化，且退化机制仍不明了。我们提出一个理论框架，解释语言模型性别偏见的三种候选机制。我们利用该理论框架解释当前去偏方法为何引起性能退化。我们还发现了一种去偏而不导致模型性能退化的路径。我们进一步开发了一种因果检测微调方法来纠正性别偏见。数值实验表明，我们的方法能够带来双重红利：在部分缓解性别偏见的同时避免性能退化。
引用
@article{arxiv.2211.07350,
title = {Does Debiasing Inevitably Degrade the Model Performance},
author = {Yiran Liu and Xiao Liu and Haotian Chen and Yang Yu},
journal= {arXiv preprint arXiv:2211.07350},
year = {2023}
}
备注
12 pages, 4 figures