WinoPron：重新审视英语 Winogender 模式以提升一致性、覆盖率和语法格
计算与语言
2024-10-08 v3
摘要
虽然测量共指消解中的偏见和鲁棒性是重要目标，但这些测量的效果取决于我们用来测量它们的工具。Winogender Schemas (Rudinger et al., 2018) 是一个有影响力的数据集，旨在评估共指消解中的性别偏见，但仔细审视会发现数据中存在一些问题，这些问题损害了其用于可靠评估的价值，包括将不同的代词形式视为等价、违反模板约束以及排版错误。我们识别了这些问题并加以修正，贡献了一个新的数据集：WinoPron。使用 WinoPron，我们评估了两个最先进的监督共指消解系统、SpanBERT 以及五种规模的 FLAN-T5，并证明宾格代词对所有模型来说都更难消解。我们还提出了一种超越二元对立的新方法来评估共指消解中的代词偏见。通过这种方法，我们还表明偏见特征不仅在代词集合之间（例如，he 与 she）有所不同，而且在这些集合的表面形式之间（例如，him 与 his）也有所不同。
引用
@article{arxiv.2409.05653,
title = {WinoPron: Revisiting English Winogender Schemas for Consistency, Coverage, and Grammatical Case},
author = {Vagrant Gautam and Julius Steuer and Eileen Bingert and Ray Johns and Anne Lauscher and Dietrich Klakow},
journal= {arXiv preprint arXiv:2409.05653},
year = {2024}
}
备注
Workshop on Computational Models of Reference, Anaphora and Coreference at EMNLP 2024