MAFIA: 多适配器融合的包容性语言模型

预训练语言模型（PLMs）广泛应用于自然语言处理中的各种任务。近期研究识别了这些模型表现出的多种偏见，并提出了纠正这些偏见的方法。然而，大多数工作独立处理有限的偏见维度，如性别、种族或宗教。此外，这些方法通常需要对整个模型进行微调以保持在下游任务上的性能。在本工作中，我们旨在模块化地消除预训练语言模型在多个维度上的偏见。先前的工作广泛探索了使用有限的以美国为中心的反事实数据增强（CDA）来消除PLMs的偏见。我们利用结构化知识和一个大型生成模型，以半自动方式构建跨多个偏见维度的多样化CDA。我们强调了现有去偏方法未考虑多种社会偏见之间的相互作用，并提出了一种去偏模型，该模型利用各种社会偏见之间的协同作用，同时实现多偏见去偏。在多个任务和语言上的广泛评估证明了我们方法的有效性。