简洁高效的半监督问答
计算与语言
2018-04-04 v1 机器学习
摘要
深度学习模型在抽取式问答(QA)任务上的近期成功依赖于大规模标注语料的可用性。然而，大规模领域特定标注语料有限且构建成本高昂。在这项工作中，我们设想一个系统，其中终端用户指定一组基础文档和仅少量标注样例。我们的系统利用文档结构从这些基础文档创建完形填空式问题；在完形填空式问题上预训练一个强大的神经网络；并进一步在标注样例上微调模型。我们在来自不同领域的三个多样数据集上评估所提出的系统，发现其在极少标注数据下高度有效。在少于一千个标注样例的情况下，我们在 SQuAD 和 TriviaQA 上获得了超过 50% 的 F1 分数。我们还发布了一组 3.2M 的完形填空式问题供从业者在构建 QA 系统时使用。
引用
@article{arxiv.1804.00720,
title = {Simple and Effective Semi-Supervised Question Answering},
author = {Bhuwan Dhingra and Danish Pruthi and Dheeraj Rajagopal},
journal= {arXiv preprint arXiv:1804.00720},
year = {2018}
}
备注
Short paper, NAACL 2018