BIOMRC：一个用于生物医学机器阅读理解的数据集
计算与语言
2020-05-14 v1 机器学习
机器学习
摘要
我们介绍了 BIOMRC，一个大规模的完形填空式生物医学 MRC（机器阅读理解）数据集。与 Pappas 等人（2018）此前的 BIOREAD 数据集相比，我们用心减少了噪声。实验表明，简单的启发式方法在新数据集上表现不佳，而两个曾在 BIOREAD 上测试过的神经 MRC 模型在 BIOMRC 上表现好得多，表明新数据集确实噪声更小，或至少其任务更可行。与 BIOREAD 相比，非专家人类在新数据集上的表现也更高，而生物医学专家表现更佳。我们还引入了一个基于 BERT 的新 MRC 模型，其最佳版本大幅优于所有其他被测方法，在某些实验中达到或超越了生物医学专家的准确率。我们以三种不同规模发布新数据集，同时发布我们的代码，并提供排行榜。
引用
@article{arxiv.2005.06376,
title = {BIOMRC: A Dataset for Biomedical Machine Reading Comprehension},
author = {Petros Stavropoulos and Dimitris Pappas and Ion Androutsopoulos and Ryan McDonald},
journal= {arXiv preprint arXiv:2005.06376},
year = {2020}
}
备注
10 pages, 4 figures, 5 tables