为掩码语言模型中的社会偏见构建整体度量
计算与语言
2023-09-04 v2
摘要
掩码语言模型（MLMs）在许多自然语言处理任务中已取得成效。然而，由于其从大规模文本语料中学习，真实世界中的刻板印象偏见很可能反映于 MLMs 中。以往提出的大多数评估指标采用不同的掩码策略，基于 MLMs 的对数似然设计。它们缺乏针对刻板印象偏见与反刻板印象偏见样本的方差等整体考量。本文将 MLMs 输出的刻板印象偏见与反刻板印象偏见样本的对数似然视为高斯分布。提出两种评估指标——Kullback-Leibler 散度分数（KLDivS）与 Jensen-Shannon 散度分数（JSDivS）——以评估 MLMs 中的社会偏见。在公开数据集 StereoSet 与 CrowS-Pairs 上的实验结果表明，与以往提出的指标相比，KLDivS 与 JSDivS 更为稳定且可解释。
引用
@article{arxiv.2305.07795,
title = {Constructing Holistic Measures for Social Biases in Masked Language Models},
author = {Yang Liu and Yuexian Hou},
journal= {arXiv preprint arXiv:2305.07795},
year = {2023}
}
备注
We need to change the methodology in the paper appropriately cause us to change the title of the paper, so we need to withdraw it and subsequently resubmit the new version