在不发生灾难性遗忘的前提下提升预训练语言模型的性别公平性
计算与语言
2023-07-03 v3 计算机与社会
机器学习
摘要
现有研究解决预训练语言模型的性别偏见问题时，通常构建小型性别中立数据集并对模型进行第二阶段预训练。然而，鉴于性别中立数据规模有限且关注点集中，第二阶段预训练过程中会发生灾难性遗忘。遗忘原始训练数据中的信息可能大幅损害模型的下游性能。本工作中，我们通过 GLUE 中的通用 NLP 任务评估此类方法，实证表明其中存在灾难性遗忘。随后，我们提出一种新方法——性别平等提示（GEnder Equality Prompt, GEEP），以更少的遗忘提升预训练模型的性别公平性。GEEP 冻结预训练模型，并利用性别中立数据学习性别相关提示。实证结果表明，GEEP 不仅在性别公平性任务上取得 SOTA 性能，且遗忘更少，在 GLUE 上的表现也大幅更优。
引用
@article{arxiv.2110.05367,
title = {Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting},
author = {Zahra Fatemi and Chen Xing and Wenhao Liu and Caiming Xiong},
journal= {arXiv preprint arXiv:2110.05367},
year = {2023}
}
备注
This paper has been accepted at the 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023)