Evidence Inference 2.0:更多数据,更优模型
计算与语言
2020-05-15 v2
摘要
我们如何最有效地治疗某种疾病或健康状况?理想情况下,我们可以查询一个从临床试验中提取证据的数据库来回答此类问题。遗憾的是,目前并不存在这样的数据库;临床试验结果主要通过冗长的自然语言文章进行传播。医疗从业者逐一查阅所有此类文章会耗费过多时间;因此,他们倾向于依赖人工编制的医学文献系统评价来指导临床治疗。NLP 可以加速这一过程,并最终实现对已发表证据的即时查询。Evidence Inference 数据集近期已发布,以促进面向此目标的研究。该任务涉及从特定文章(描述一项临床试验)中推断两种治疗在给定结局下的相对表现,并识别支持证据。例如:这篇文章是否报告了对于可手术癌症的五年生存率,化疗的表现优于手术?在本文中,我们收集了额外的标注,将 Evidence Inference 数据集扩大了 25%,提供了更强的基线模型,系统地检查了这些模型所犯的错误,并探究了数据集质量。我们还发布了仅包含摘要(而非全文)的任务版本,用于快速模型原型设计。更新后的语料库、文档以及用于新基线和评估的代码可在 http://evidence-inference.ebm-nlp.com/ 获取。
引用
@article{arxiv.2005.04177,
title = {Evidence Inference 2.0: More Data, Better Models},
author = {Jay DeYoung and Eric Lehman and Ben Nye and Iain J. Marshall and Byron C. Wallace},
journal= {arXiv preprint arXiv:2005.04177},
year = {2020}
}
备注
Accepted as workshop paper into BioNLP Updated results from SciBERT to Biomed RoBERTa