用于 PubMed 摘要中疾病提及标注的微任务众包
摘要
识别生物医学文本中的概念和关系使得知识能够应用于计算分析。许多生物自然语言处理 (BioNLP) 项目试图解决这一挑战，但 BioNLP 的最新水平仍有很大的改进空间。BioNLP 研究的进展依赖于大型标注语料库，用于评估信息抽取系统和训练机器学习模型。传统上，此类语料库由少数专家标注者在较长的时间内创建。最近的研究表明，Amazon Mechanical Turk (AMT) 等微任务众包平台上的工作者总体上可以生成高质量的生物医学文本标注。在此，我们研究了利用 AMT 捕捉 PubMed 摘要中疾病提及的情况。我们使用 NCBI Disease 语料库作为黄金标准，以完善和基准测试我们的众包协议。经过几次迭代，我们得出了一套协议，能够以 0.872 的总体 F 值（精确率 0.862，召回率 0.883）复现该黄金标准训练集中 593 份文档的标注。输出结果还可以进行调整以优化精确率（当召回率为 0.269 时，最大值为 0.984）或召回率（当精确率为 0.436 时，最大值为 0.980）。每份文档由 15 名工作者检查，其标注基于简单的投票方法进行合并。总共 145 名工作者联合在 1 周内完成了所有 593 份文档，成本为每名工作者每篇摘要 0.06 美元。正如 F 值所判断的，标注质量随着分配给每个任务的工作者数量增加而提高，使得系统可以调整以平衡成本与质量。这些结果表明，微任务众包可以成为 BioNLP 中生成良好标注语料库的宝贵工具。
引用
@article{arxiv.1408.1928,
title = {Microtask crowdsourcing for disease mention annotation in PubMed abstracts},
author = {Benjamin M Good and Max Nanis and Andrew I. Su},
journal= {arXiv preprint arXiv:1408.1928},
year = {2014}
}
备注
Preprint of an article submitted for consideration in the Pacific Symposium on Biocomputing copyright 2015; World Scientific Publishing Co., Singapore, 2015; http://psb.stanford.edu/. Data produced for this analysis are available at http://figshare.com/articles/Disease_Mention_Annotation_with_Mechanical_Turk/1126402