预训练掩码语言模型中社会偏见与任务性能的预测因子分析
计算与语言
2023-10-24 v2
摘要
先前工作已报道预训练掩码语言模型（MLMs）中存在多种社会偏见。然而，与 MLM 相关的潜在因素众多，例如模型大小、训练数据规模、训练目标、预训练数据采样来源域、分词方式以及预训练语料中所包含的语言等。目前仍不清楚这些因素中哪些会影响 MLM 所学到的社会偏见。为研究模型因素与 MLM 所学社会偏见以及模型下游任务性能之间的关系，我们对覆盖不同模型大小、训练目标、分词方法、训练数据域与语言的 39 个预训练 MLM 进行了全面研究。我们的结果揭示了先前文献中常被忽视的重要因素，如分词或模型目标。
引用
@article{arxiv.2310.12936,
title = {A Predictive Factor Analysis of Social Biases and Task-Performance in Pretrained Masked Language Models},
author = {Yi Zhou and Jose Camacho-Collados and Danushka Bollegala},
journal= {arXiv preprint arXiv:2310.12936},
year = {2023}
}
备注
Accepted to EMNLP 2023 main conference