名为何物？开放域问答中的答案等价性
计算与语言
2021-09-14 v1
摘要
问答评估中的一个缺陷是标注通常只提供一个标准答案。因此，与答案语义等价但表面不同的模型预测被视为错误。本工作探索从知识库中挖掘别名实体并将其用作额外的标准答案（即等价答案）。我们针对两种设定引入答案：带额外答案的评估与带等价答案的模型训练。我们分析了三个问答基准：Natural Questions、TriviaQA 和 SQuAD。答案扩展在所有数据集的评估上均提升了精确匹配分数，而将其纳入有助于在真实世界数据集上的模型训练。我们通过人工事后评估确保额外答案的有效性。
引用
@article{arxiv.2109.05289,
title = {What's in a Name? Answer Equivalence For Open-Domain Question Answering},
author = {Chenglei Si and Chen Zhao and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:2109.05289},
year = {2021}
}
备注
EMNLP 2021 main conference