探索用于胸部 X 射线孪生表示学习的图像增强方法
图像与视频处理
2023-07-12 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
图像增强对于跨自监督学习技术的有效视觉表示学习至关重要。尽管自然图像的增强策略已被广泛研究，但医学图像与自然图像截然不同。因此，孪生表示学习中常用的增强策略是否能推广到医学图像、以及在多大程度上推广，尚属未知。为应对这一挑战，本研究系统评估了各种增强对所学表示质量与鲁棒性的影响。我们在三个大型数据集（MIMIC-CXR、CheXpert 和 VinDR-CXR）上训练并评估了用于胸部 X 射线异常检测的孪生网络。我们通过线性探测、微调、零样本迁移和数据效率等实验考察了所学表示的有效性。最后，我们确定了一组增强方法，其产生的鲁棒表示能很好地泛化到分布外数据和疾病，且仅使用零样本迁移和线性探针就在性能上超越监督基线高达 20%。我们的代码可在 https://github.com/StanfordMIMI/siaug 获取。
引用
@article{arxiv.2301.12636,
title = {Exploring Image Augmentations for Siamese Representation Learning with Chest X-Rays},
author = {Rogier van der Sluijs and Nandita Bhaskhar and Daniel Rubin and Curtis Langlotz and Akshay Chaudhari},
journal= {arXiv preprint arXiv:2301.12636},
year = {2023}
}
备注
Equal contributions. Oral paper at MIDL 2023. Additional experiments in appendix in V2. Keywords: Data Augmentations, Self-Supervised Learning, Medical Imaging, Chest X-rays, Siamese Representation Learning