通过人在回路排序降低成对比较的标注负担：在医学图像伪影评级中的应用
定量方法
2022-02-11 v1 计算机视觉与模式识别
机器学习
图像与视频处理
摘要
基于成对比较的排序已展现出优于序数分类的可靠性。然而，由于成对比较的标注量呈二次增长，当数据集较大时该方法变得不太实用。我们提出了一种减少按定量指标排序所需成对比较次数的方法，并在这项概念验证研究中展示了该方法在按图像质量对医学图像进行排序时的有效性。利用我们开发的医学图像标注软件，我们通过一种排序算法，在人类评分者参与回路的情况下主动对成对比较进行子采样。我们发现，与不进行排序的成对比较相比，该方法在保持评分者间可靠性的同时，大幅减少了完成完整序数排序所需的比较次数。
引用
@article{arxiv.2202.04823,
title = {Decreasing Annotation Burden of Pairwise Comparisons with Human-in-the-Loop Sorting: Application in Medical Image Artifact Rating},
author = {Ikbeom Jang and Garrison Danley and Ken Chang and Jayashree Kalpathy-Cramer},
journal= {arXiv preprint arXiv:2202.04823},
year = {2022}
}
备注
5 pages, 2 figures, NeurIPS Data-Centric AI Workshop 2021