扩展分布外范围:考察问答模型在多个子域中的表现
计算与语言
2022-04-12 v1 人工智能
摘要
以往研究问答系统分布外性能的工作主要关注通用域(如新闻域、维基百科域),低估了由问答数据集内部特征定义的子域的重要性。在本文中,我们通过根据若干内部特征(包括问题类型、文本长度、答案位置)将问答样本划分为不同子域,扩展了“分布外”的范围。我们随后考察了在不同子域数据上训练的问答系统的性能。实验结果表明,当训练数据与测试数据来自不同子域时,问答系统的性能会显著下降。这些结果质疑了当前问答系统在多个子域中的泛化能力,表明需要应对问答数据集内部特征引入的偏差。
引用
@article{arxiv.2204.04534,
title = {Extending the Scope of Out-of-Domain: Examining QA models in multiple subdomains},
author = {Chenyang Lyu and Jennifer Foster and Yvette Graham},
journal= {arXiv preprint arXiv:2204.04534},
year = {2022}
}
备注
14 pages, 6 figures, 29 tables, to appear at ACL 2022 Workshop on Insights from Negative Results in NLP, code available in https://github.com/lyuchenyang/Analysing-Question-Answering-Data