电子设备上的问答：一个新的基准数据集与基于多任务学习的问答框架
计算与语言
2021-09-15 v2 信息检索
机器学习
摘要
从电子手册、食谱书等指导性语料中提出问题并作答，远不如基于开放领域事实型上下文的问答受到关注。这主要归因于缺乏标准基准数据集。在本文中，我们精心构建了大量与电子手册相关的数据，并开发了合适的算法加以利用。我们收集了 E-Manual Corpus，一个包含 307,957 份电子手册的大型语料库，并在该大型语料库上对 RoBERTa 进行预训练。我们创建了多种基准问答数据集，包括由专家基于两份电子手册标注的问答对，以及来自与电子手册相关的社区问答论坛的真实用户问题等。我们提出了 EMQAP（E-Manual Question Answering Pipeline，电子手册问答流水线），用于回答与电子设备相关的问题。它构建于预训练的 RoBERTa 之上，采用有监督多任务学习框架，高效完成两项任务：定位电子手册中答案所在章节，以及在该章节内抽取精确答案片段。对于电子手册标注问答对，我们相较最具竞争力的基线在 ROUGE-L F1 分数上取得了约 40% 的提升。我们进行了详细的消融实验，并证实了 EMQAP 在不同场景下的通用性。代码与数据集发布于 https://github.com/abhi1nandy2/EMNLP-2021-Findings，相应项目网站为 https://sites.google.com/view/emanualqa/home。
引用
@article{arxiv.2109.05897,
title = {Question Answering over Electronic Devices: A New Benchmark Dataset and a Multi-Task Learning based QA Framework},
author = {Abhilash Nandy and Soumya Sharma and Shubham Maddhashiya and Kapil Sachdeva and Pawan Goyal and Niloy Ganguly},
journal= {arXiv preprint arXiv:2109.05897},
year = {2021}
}
备注
EMNLP Findings 2021, Long