开放域问答中泛化面临的挑战
计算与语言
2022-05-17 v3 人工智能
摘要
近期关于开放域问答的研究表明，模型在全新测试问题与那些和训练问题大量重叠的问题之间性能存在巨大差异。然而，尚不清楚新问题的哪些方面使其具有挑战性。借鉴系统泛化研究，我们引入并根据三类衡量不同层次和种类泛化的标准对问题进行标注：训练集重叠、组合泛化（comp-gen）和新实体泛化（novel-entity）。在评估六个流行的参数与非参数模型时，我们发现对于已确立的Natural Questions和TriviaQA数据集，即便是最强模型在comp-gen/novel-entity上的性能也分别比完整测试集低13.1/5.4%和9.6/1.5%——表明此类问题带来的挑战。此外，我们展示尽管非参数模型能相对较好地处理含新实体的问题，它们却在需要组合泛化的问题上表现不佳。最后，我们发现关键问题难度因素为：来自检索组件的级联错误、问题模式频率以及实体频率。
引用
@article{arxiv.2109.01156,
title = {Challenges in Generalization in Open Domain Question Answering},
author = {Linqing Liu and Patrick Lewis and Sebastian Riedel and Pontus Stenetorp},
journal= {arXiv preprint arXiv:2109.01156},
year = {2022}
}
备注
NAACL 2022 Findings