自动预标注在临床病历数据要素抽取中的影响——CLEAN 工具
计算与语言
2018-08-14 v1
摘要
目的。标注成本高昂但对病历审阅和临床自然语言处理(cNLP)至关重要。然而,计算机生成的预标注在多大程度上有益于人工标注仍是一个开放问题。我们的研究引入了 CLEAN(CLinical note rEview and ANnotation,临床病历审阅与标注),一个基于预标注的 cNLP 标注系统,用于改进病历中数据要素的标注,并将 CLEAN 与广泛使用的标注系统 Brat Rapid Annotation Tool (BRAT) 进行了全面比较。材料与方法。CLEAN 包含一个集成流水线(CLEAN-EP)和一个新开发的标注工具(CLEAN-AT)。一名领域专家与一名新手用户/标注员参与了比较可用性测试,在 84 份公开病历中标注与充血性心力衰竭(CHF)和川崎病(KD)队列相关的 87 个数据要素。结果。CLEAN 的病历级 F1 分数(0.896)高于 BRAT(0.820),正确性差异显著(P 值 < 0.001),最主要相关因素为系统/软件(P 值 < 0.001)。CLEAN(7.262 分钟/份)与 BRAT(8.286 分钟/份)的标注时间无显著差异(P 值 0.188)。该差异主要与病历长度(P 值 < 0.001)和系统/软件(P 值 0.013)相关。专家评价 CLEAN 有用/满意,而新手报告有轻微改进。讨论。CLEAN 在同等效率下提高了标注正确性并提升了有用性/满意度。局限性包括未测试预标注正确率的影响、样本量小、用户数量少以及金标准验证受限。结论。带有预标注的 CLEAN 可有益于专家处理涉及大量且多样目标数据要素的复杂标注任务。
引用
@article{arxiv.1808.03806,
title = {The Impact of Automatic Pre-annotation in Clinical Note Data Element Extraction - the CLEAN Tool},
author = {Tsung-Ting Kuo and Jina Huh and Jihoon Kim and Robert El-Kareh and Siddharth Singh and Stephanie Feudjio Feupe and Vincent Kuri and Gordon Lin and Michele E. Day and Lucila Ohno-Machado and Chun-Nan Hsu},
journal= {arXiv preprint arXiv:1808.03806},
year = {2018}
}