Gender-tuning：赋能微调以去偏预训练语言模型
计算与语言
2023-07-25 v1
摘要
近期研究揭示，广泛使用的预训练语言模型（PLMs）从大规模未审核的预训练语料中传播社会偏见。现有方案需要去偏训练过程与去偏数据集，资源消耗大且成本高昂。此外，这些方法损害了 PLMs 在下游任务上的性能。本研究中，我们提出 Gender-tuning，通过对下游任务数据集进行微调来去偏 PLMs。为此，Gender-tuning 将掩码语言建模（MLM）训练目标整合进微调的训练过程中。综合实验表明，Gender-tuning 在 PLMs 的平均性别偏见分数上优于最先进基线，同时仅使用下游任务数据集便提升了 PLMs 在下游任务上的性能。此外，Gender-tuning 是一种可部署的去偏工具，适用于任何采用原始微调方式的 PLM。
引用
@article{arxiv.2307.10522,
title = {Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models},
author = {Somayeh Ghanbarzadeh and Yan Huang and Hamid Palangi and Radames Cruz Moreno and Hamed Khanpour},
journal= {arXiv preprint arXiv:2307.10522},
year = {2023}
}