重新审视抽取式问答的目标函数
计算与语言
2021-10-13 v4 人工智能
机器学习
摘要
本工作表明，使用带有独立性假设的 objective 来对起始位置为 、结束位置为 的跨度概率 进行建模会产生不利影响。因此我们提出多种直接对联合概率 建模的方法。其中，我们提出了一种复合目标函数，由联合概率构成，同时仍保留带独立性假设的 objective 作为辅助目标。我们发现该复合目标函数在精确匹配上始终优于或等同于其他假设。此外，我们识别了由独立性假设引起的常见错误，并人工核对了对应的预测结果，展示了复合目标函数对真实样例的影响。我们的发现通过在六个数据集上采用三种抽取式 QA 模型（BIDAF、BERT、ALBERT）的实验得到支持，我们的代码、个体结果和人工分析均已在线提供。
引用
@article{arxiv.2008.12804,
title = {Rethinking the Objectives of Extractive Question Answering},
author = {Martin Fajcik and Josef Jon and Pavel Smrz},
journal= {arXiv preprint arXiv:2008.12804},
year = {2021}
}
备注
camera-ready version accepted to MRQA'21