注意你的偏差:上下文语言模型偏差检测方法的批判性综述
计算与语言
2022-11-17 v1 计算机与社会
摘要
偏差的意识与缓解对于上下文语言模型的公平透明使用至关重要,而这关键依赖于作为前置步骤的偏差准确检测。因此,已提出众多偏差检测方法,它们在方法、所考虑的偏差类型及用于评估的数据上各不相同。然而,尽管大多数检测方法源自针对静态词嵌入的词嵌入关联检验,所报告的结果却异构、不一致且最终无定论。为解决此问题,我们对上下文语言模型的偏差检测方法进行了严格的分析与比较。我们的结果表明,微小的设计与实现决策(或错误)对所得偏差分数具有实质且往往显著的影响。总体而言,我们发现该领域状况比先前所承认的更糟,因实现中存在系统性且被传播的错误;但也比预期更好,因为在考量实现错误后文献中的分歧结果趋于同质。基于我们的发现,我们以对更鲁棒且一致的偏差检测方法之路径的讨论作结。
引用
@article{arxiv.2211.08461,
title = {Mind Your Bias: A Critical Review of Bias Detection Methods for Contextual Language Models},
author = {Silke Husse and Andreas Spitz},
journal= {arXiv preprint arXiv:2211.08461},
year = {2022}
}