深入审视词语填空式社会偏见度量方法
计算与语言
2023-02-27 v1
摘要
近年来，人们提出了许多衡量语言模型中社会偏见的方法。一种流行的做法是使用一组词语填空提示来评估语言模型的行为。在这项工作中，我们分析了两种此类度量方法的有效性——StereoSet 和 CrowS-Pairs。我们表明，当构建适当的对照组样本时，这些度量方法会产生出乎意料且不合逻辑的结果。基于此，我们认为它们存在问题，未来应重新考虑是否使用它们。我们提出了一种采用改进测试协议的推进方向。最后，我们还引入了一个针对斯洛伐克语的新的性别偏见数据集。
引用
@article{arxiv.2302.12640,
title = {In-Depth Look at Word Filling Societal Bias Measures},
author = {Matúš Pikuliak and Ivana Beňová and Viktor Bachratý},
journal= {arXiv preprint arXiv:2302.12640},
year = {2023}
}
备注
EACL 2023