多语言语言模型中的偏见研究:去偏技术的跨语言迁移
计算与语言
2023-10-17 v1
摘要
本文研究了多语言模型中去偏技术在不同语言间的可迁移性。我们考察了这些技术在英语、法语、德语和荷兰语中的适用性。使用多语言BERT(mBERT),我们证明了去偏技术的跨语言迁移不仅可行,而且产生了有前景的结果。令人惊讶的是,我们的发现显示将这些技术应用于非英语语言时并无性能劣势。利用CrowS-Pairs数据集的翻译版本,我们的分析确定SentenceDebias是跨语言最佳技术,在mBERT中将偏见平均降低13%。我们还发现,带有额外预训练的去偏技术对所分析语言(尤其是低资源语言)展现出增强的跨语言有效性。这些新见解增进了对多语言语言模型中偏见缓解的理解,并为不同语言情境下的去偏技术提供了实用指导。
引用
@article{arxiv.2310.10310,
title = {Investigating Bias in Multilingual Language Models: Cross-Lingual Transfer of Debiasing Techniques},
author = {Manon Reusens and Philipp Borchert and Margot Mieskes and Jochen De Weerdt and Bart Baesens},
journal= {arXiv preprint arXiv:2310.10310},
year = {2023}
}
备注
Accepted to EMNLP 2023 main conference