消除实体人口统计学特征对问答准确性影响的混杂因素
计算与语言
2021-09-14 v2
摘要
问答(QA)的目标是回答任意问题。然而,主流 QA 数据集在性别、职业和国籍上分布偏斜。尽管存在这种偏斜,模型准确性分析很少显示基于性别或国籍的人群准确性更低;相反,在职业(问题主题)上差异更大。但 QA 代表性的缺失本身可能掩盖偏见的证据,因此需要能更好代表全球多样性的 QA 数据集。
引用
@article{arxiv.2104.07571,
title = {Toward Deconfounding the Influence of Entity Demographics for Question Answering Accuracy},
author = {Maharshi Gor and Kellie Webster and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:2104.07571},
year = {2021}
}
备注
Accepted at EMNLP 2021