关于阅读理解模型对实体重命名的鲁棒性
计算与语言
2022-05-05 v2
摘要
我们研究了机器阅读理解（MRC）模型对实体重命名的鲁棒性——当就一个被更改了名称的实体提出相同问题时，模型是否会做出更多错误预测？此类失败意味着模型过度依赖实体信息来回答问题，从而在世界事实改变或被问及新颖实体时泛化能力差。为系统审视该问题，我们提出一个大规模自动生成测试样本的流水线，通过将原始测试样本中的实体名替换为来自多种来源的名称，范围从同一测试集中的名称、生活中的常见名称，到任意字符串。在五个数据集和三种预训练模型架构上，MRC模型在实体被重命名时一致表现更差，其中通过远程监督构建的数据集上准确率下降尤其大。我们还发现模型间存在巨大差异：采用跨度级掩码的SpanBERT比RoBERTa更鲁棒，尽管其在未扰动测试数据上准确率相近。我们进一步尝试以不同掩码策略作为持续预训练目标，发现基于实体的掩码可提升MRC模型的鲁棒性。
引用
@article{arxiv.2110.08555,
title = {On the Robustness of Reading Comprehension Models to Entity Renaming},
author = {Jun Yan and Yang Xiao and Sagnik Mukherjee and Bill Yuchen Lin and Robin Jia and Xiang Ren},
journal= {arXiv preprint arXiv:2110.08555},
year = {2022}
}
备注
Accepted to NAACL 2022