AI 无需标签亦可进化：通过知识蒸馏实现用于胸部 X 光诊断的自进化视觉 Transformer
图像与视频处理
2022-10-12 v1 计算机视觉与模式识别
机器学习
摘要
尽管基于深度学习的计算机辅助诊断系统近来已达到专家级性能，但开发一个鲁棒深度学习模型需要大量带人工标注的高质量数据，而这类数据获取成本高昂。这种情况导致医院每年收集的胸部 X 光因缺乏专家人工标注而无法使用，尤其在资源匮乏地区。为此，本文提出一种新颖的深度学习框架，其通过自监督学习与自训练利用知识蒸馏，表明以少量标签训练的原始模型的性能可随更多无标签数据而逐步提升。实验结果表明，所提框架对真实世界环境保持令人印象深刻的鲁棒性，并对结核病、气胸和 COVID-19 等多项诊断任务具有普遍适用性。值得注意的是，我们证明了我们的模型甚至优于以相同数量标签数据训练的模型。所提框架在医学影像领域具有巨大潜力，该领域每年积累大量数据，但真值标注获取昂贵。
引用
@article{arxiv.2202.06431,
title = {AI can evolve without labels: self-evolving vision transformer for chest X-ray diagnosis through knowledge distillation},
author = {Sangjoon Park and Gwanghyun Kim and Yujin Oh and Joon Beom Seo and Sang Min Lee and Jin Hwan Kim and Sungjun Moon and Jae-Kwang Lim and Chang Min Park and Jong Chul Ye},
journal= {arXiv preprint arXiv:2202.06431},
year = {2022}
}
备注
24 pages