迈向可信赖的机器阅读理解
计算与语言
2021-02-25 v2
摘要
在阅读理解(RC)任务的学术基准上已取得显著进展,最先进(SOTA)模型在抽取式问答上缩小了与人类表现的差距。诸如SQuAD 2.0与NQ等数据集还引入了辅助任务,要求模型预测文本中何时无答案的问题。然而,在生产环境中,还需为底层RC模型在答案抽取与“可答性”检测两方面的表现提供置信度估计。我们提出了一种新颖的预测后置信度估计模型,称为Mr.C(意为Mr. Confident),可经训练提升系统避免错误预测的能力,按曲线下面积(AUC)分数衡量有最高4分的改进。Mr.C可受益于一种利用底层RC模型梯度的新颖白盒特征。性能预测在领域偏移情况下尤为重要(通过在SQUAD 2.0上训练RC模型并在NQ上评估来衡量),此时Mr.C不仅改进AUC,还改进传统可答性预测(按F1提升5分衡量)。
引用
@article{arxiv.2101.07942,
title = {Towards Confident Machine Reading Comprehension},
author = {Rishav Chakravarti and Avirup Sil},
journal= {arXiv preprint arXiv:2101.07942},
year = {2021}
}