多语言 BERT 变体中社会偏见的解析
计算与语言
2022-11-29 v1 计算机与社会
机器学习
摘要
尽管大型预训练语言模型在许多 NLP 任务中取得了巨大成功，但已表明它们从其预训练语料中反映了人类偏见。当这些模型应用于真实场景时，该偏见可能导致不良后果。本文中，我们调查了跨多种语言（英语、希腊语和波斯语）的单语 BERT 模型中存在的偏见。近期研究多聚焦于性别相关偏见，我们还分析了宗教与族群偏见，并提出了一种基于句子伪似然、可处理具有基于性别的形容词变格的形态复杂语言的模板化方法来度量任意类型的偏见。我们通过该方法分析每个单语模型，并可视化不同偏见维度上的文化相似性与差异。最终我们得出结论：当前的偏见探测方法高度依赖于语言，需要关于每种语言与文化中偏见表达独特方式（例如通过隐语、提喻及其他类似语言学概念）的文化洞见。我们还假设，非英语 BERT 模型中测得较高的社会偏见与其训练中的用户生成内容相关。
引用
@article{arxiv.2211.14402,
title = {An Analysis of Social Biases Present in BERT Variants Across Multiple Languages},
author = {Aristides Milios and Parishad BehnamGhader},
journal= {arXiv preprint arXiv:2211.14402},
year = {2022}
}
备注
Accepted to 2022 Trustworthy and Socially Responsible Machine Learning (TSRML 2022) Workshop at NeurIPS 2022