面向鲁棒分类模型训练的标签即时学习
计算机视觉与模式识别
2020-10-05 v2 人工智能
摘要
当前的深度学习范式在很大程度上受益于海量标注数据。然而，标注质量在不同标注者之间往往存在差异。多观察者研究已被开展以探究这些标注差异（通过对相同数据进行多次标注）及其对医学图像分析等关键应用的影响。这一过程确实给本已繁琐、通常需要专业领域训练与专业知识的标注工作增添了额外负担。另一方面，基于NLP算法的自动标注方法近年来已显示出作为一种合理替代方案的前景，其依赖于临床系统中广泛可用的那些图像已有的诊断报告。与人工标注者相比，不同算法提供的标签质量各异且噪声更大。在本文中，我们展示了如何共同利用噪声标注（例如来自不同基于算法的标注者）并使其在学习分类任务时相互受益。具体而言，我们引入了标签注意力（attention-on-label）的概念，在训练过程中即时采样更优的标签集作为训练数据。设计了一个基于元训练的标签采样模块，通过额外的反向传播过程来关注最有益于模型学习的标签。我们将标签注意力方案应用于合成噪声CIFAR-10数据集的分类任务以验证该概念，随后在来自医院规模数据集（MIMIC-CXR）和人工标注数据集（OpenI）的胸部X射线图像上，相较于常规训练范式，展示出更优的结果（多种疾病分类AUC平均提升3-5%）。
引用
@article{arxiv.2009.10325,
title = {Learning Image Labels On-the-fly for Training Robust Classification Models},
author = {Xiaosong Wang and Ziyue Xu and Dong Yang and Leo Tam and Holger Roth and Daguang Xu},
journal= {arXiv preprint arXiv:2009.10325},
year = {2020}
}
备注
v2: Minor Corrections