Multiple-Debias：多语言预训练语言模型的全流程去偏方法
计算与语言
2026-04-06 v1
摘要
多语言预训练语言模型（MPLMs）已成为自然语言处理的重要工具。然而，它们常常表现出与性别、种族和宗教等敏感属性相关的偏见。本文提出了一种全面的多语言去偏方法 Multiple-Debias，以解决跨多种语言的这些问题。通过融合多语言反事实数据增强和多语言 Self-Debias，涵盖预处理和后处理阶段，并结合参数高效微调，我们在四种语言的三个敏感属性上显著降低了 MPLM 中的偏见。我们还将 CrowS-Pairs 扩展至德语、西班牙语、中文和日语，验证了全流程多语言去偏方法在性别、种族和宗教偏见方面的有效性。实验表明，（i）多语言去偏方法在缓解偏见方面优于单语言方法，（ii）整合来自不同语言的去偏信息显著提升了 MPLM 的公平性。
引用
@article{arxiv.2604.02772,
title = {Multiple-Debias: A Full-process Debiasing Method for Multilingual Pre-trained Language Models},
author = {Haoyu Liang and Peijian Zeng and Wentao Huang and Aimin Yang and Dong Zhou},
journal= {arXiv preprint arXiv:2604.02772},
year = {2026}
}