游戏化众包在肺部超声 B 线分割中实现专家级标注质量
计算机与社会
2023-12-19 v1
摘要
医疗数据的准确且可扩展的标注对医疗 AI 的发展至关重要，但获取医学专家的标注时间极具挑战。游戏化众包已展现出大规模获取高准确度医疗数据标注的潜力，在本研究中，我们针对即时床旁肺部超声片段中静态帧上的 B 线（肺充血的标志）分割任务，同样证实了这一点。我们在 2.5 天内从 214 名标注者处收集了 21,154 份标注，并证明了群体共识分割与参考标准之间的一致性，无论是在 B 线计数（均方误差 0.239 vs. 0.308，p<0.05）还是 B 线标注的空间精度（平均 Dice-H 分数 0.755 vs. 0.643，p<0.05）方面，均超过了个体专家与相同参考标准之间的一致性。这些结果表明，利用游戏化众包可以实现专家级质量的分割。
引用
@article{arxiv.2312.10198,
title = {Expert-Level Annotation Quality Achieved by Gamified Crowdsourcing for B-line Segmentation in Lung Ultrasound},
author = {Mike Jin and Nicole M Duggan and Varoon Bashyakarla and Maria Alejandra Duran Mendicuti and Stephen Hallisey and Denie Bernier and Joseph Stegeman and Erik Duhaime and Tina Kapur and Andrew J Goldsmith},
journal= {arXiv preprint arXiv:2312.10198},
year = {2023}
}