面向预训练语言模型去偏的参数高效方法实证分析
计算与语言
2023-06-08 v1
摘要
现代预训练语言模型的规模日益增大，不仅使其从训练语料中继承了更多类人偏见，也使得缓解此类偏见的计算成本居高不下。本文研究近期参数高效方法与反事实数据增强（CDA）相结合用于偏见缓解。我们在不同语言模型和偏见类型上，使用前缀调优、提示调优和适配器调优进行大量实验，以评估其去偏性能及保留预训练模型内部知识的能力。我们发现，参数高效方法（i）在缓解性别偏见方面有效，其中适配器调优始终最为有效，且提示调优比BERT更适合GPT-2；（ii）在种族和宗教偏见方面效果较弱，这可能归因于CDA的局限性；（iii）在时间及内存效率提升的情况下，可取得与全微调相似甚至更优的表现，并通过事实检索与下游微调评估，保持BERT和GPT-2中的内部知识。
引用
@article{arxiv.2306.04067,
title = {An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models},
author = {Zhongbin Xie and Thomas Lukasiewicz},
journal= {arXiv preprint arXiv:2306.04067},
year = {2023}
}
备注
accepted to ACL 2023