自然分布偏移对问答模型的影响
机器学习
2020-05-01 v1 计算与语言
机器学习
摘要
我们为斯坦福问答数据集（SQuAD）构建了四个新测试集，并评估问答系统泛化至新数据的能力。第一个测试集来自原始维基百科领域，衡量现有系统对原测试集的过拟合程度。尽管多年重度复用测试集，我们未发现自适应过拟合的证据。其余三个测试集由《纽约时报》文章、Reddit 帖子和亚马逊产品评论构建，衡量对自然分布偏移的鲁棒性。在广泛模型中，我们观察到平均性能分别下降 3.8、14.0 和 17.4 个 F1 点。相比之下，强人类基线在原始领域匹配或超越 SQuAD 模型性能，且在新领域几乎无下降。综上，我们的结果证实了留出法的惊人韧性，并强调需转向包含自然分布偏移鲁棒性的评估指标。
引用
@article{arxiv.2004.14444,
title = {The Effect of Natural Distribution Shift on Question Answering Models},
author = {John Miller and Karl Krauth and Benjamin Recht and Ludwig Schmidt},
journal= {arXiv preprint arXiv:2004.14444},
year = {2020}
}