面向开放域问答中 BERT 微调的数据增强
计算与语言
2019-04-16 v1 信息检索
摘要
近来，将现成 IR 技术的段落检索与 BERT 阅读器简单结合被发现在维基百科上直接进行问答非常有效，在标准基准数据集上相较先前最先进水平取得了大幅改进。本文中，我们提出一种利用远距离监督、同时挖掘正例与负例的数据增强技术。我们采用分阶段方法在多个数据集上微调 BERT，从“最远离”测试数据的数据开始，以“最接近”的数据结束。实验结果显示在英语 QA 数据集上相较先前方法有效性大幅提升，并且我们在两个近期中文 QA 数据集上建立了新的基线。
引用
@article{arxiv.1904.06652,
title = {Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering},
author = {Wei Yang and Yuqing Xie and Luchen Tan and Kun Xiong and Ming Li and Jimmy Lin},
journal= {arXiv preprint arXiv:1904.06652},
year = {2019}
}