PubMedQA：一个面向生物医学研究问答的数据集
计算与语言
2019-09-16 v1 机器学习
定量方法
摘要
我们介绍了 PubMedQA，一个从 PubMed 摘要中收集的新型生物医学问答（QA）数据集。PubMedQA 的任务是利用相应摘要以是/否/可能（例如：术前他汀类药物能否减少冠状动脉旁路移植术后的心房颤动？）来回答研究问题。PubMedQA 包含 1k 专家标注、61.2k 无标注和 211.3k 人工生成的 QA 实例。每个 PubMedQA 实例由以下部分组成：（1）一个问题，该问题为现有研究文章标题或由其派生；（2）一段上下文，即相应摘要去掉其结论部分；（3）一个长答案，即摘要的结论，且大概回答了该研究问题；（4）一个总结结论的是/否/可能答案。PubMedQA 是首个需要对生物医学研究文本（尤其是其定量内容）进行推理以回答问题的 QA 数据集。我们表现最佳的模型为以长答案词袋统计作为额外监督的 BioBERT 多阶段微调，其准确率达到 68.1%，而单个人类表现准确率为 78.0%，多数投票基线为 55.2%，仍有很大改进空间。PubMedQA 已在 https://pubmedqa.github.io 公开可用。
引用
@article{arxiv.1909.06146,
title = {PubMedQA: A Dataset for Biomedical Research Question Answering},
author = {Qiao Jin and Bhuwan Dhingra and Zhengping Liu and William W. Cohen and Xinghua Lu},
journal= {arXiv preprint arXiv:1909.06146},
year = {2019}
}
备注
EMNLP 2019