使用校准器提升机器阅读理解鲁棒性
计算与语言
2022-02-25 v1
摘要
自 BERT 等强大模型提出以来,机器阅读理解(MRC)取得了显著成果。然而,这些模型鲁棒性不足,易受对抗性输入扰动和泛化样本影响。一些工作试图通过将相关样本加入训练数据来提升在特定类型数据上的表现,但这导致原始数据集上的性能下降,因为数据分布偏移使得基于模型 softmax 概率的答案排序变得不可靠。本文提出一种方法,通过使用基于 XGBoost 模型实现的校准器作为事后重排序器来提升鲁棒性。该校准器结合人工特征与表示学习特征对候选结果重排序。在对抗性数据集上的实验结果表明,我们的模型可实现超过 10% 的性能提升,并在原始与泛化数据集上亦有所改进。
引用
@article{arxiv.2202.11865,
title = {Using calibrator to improve robustness in Machine Reading Comprehension},
author = {Jing Jin and Houfeng Wang},
journal= {arXiv preprint arXiv:2202.11865},
year = {2022}
}