低频姓名在语境化语言模型中表现出偏差与过拟合
计算机与社会
2021-10-05 v1 人工智能
计算与语言
机器学习
摘要
我们使用一个带有基于主要性别和种族群体标签的美国名字数据集，考察训练语料库频率对BERT、GPT-2、T5和XLNet中分词、语境化、与初始表示的相似性以及偏差的影响。我们表明，在这些四个语言模型的训练语料中， predominantly女性及非白人名字出现频率更低。我们发现低频名字在不同语境间更具自相似性，频率与自相似性之间的Spearman相关系低至-.763。低频名字也与初始表示更不相似，频率与到初始表示的线性居中核对齐（CKA）相似性的Spearman相关系高达.702。此外，我们发现BERT中种族偏差与名字频率的Spearman相关系为.492，表明低频少数群体名字更与不愉快性相关联。低频名字的表示经历了更多处理，但更具自相似性，表明模型依赖于较少语境信息的非常见及少数群体名字表示，这些表示过拟合于较少数量的观测语境。
引用
@article{arxiv.2110.00672,
title = {Low Frequency Names Exhibit Bias and Overfitting in Contextualizing Language Models},
author = {Robert Wolfe and Aylin Caliskan},
journal= {arXiv preprint arXiv:2110.00672},
year = {2021}
}
备注
15 pages, 3 figures, 8 tables