MedAug：利用患者元数据进行对比学习以改善胸部 X 光解读的表示
图像与视频处理
2021-10-19 v2 计算机视觉与模式识别
机器学习
摘要
同一图像多个视图对之间的自监督对比学习已被证明能成功利用无标签数据，为自然图像与医学图像生成有意义的视觉表示。然而，关于如何为医学图像选择配对的研究有限，而患者元数据的可用性可被用来改进表示。本工作中，我们开发了一种利用患者元数据从可能不同图像的视图中选取正样本对的方法。我们比较了用于胸部 X 光解读的正样本对选择策略，包括要求它们来自同一患者、同一成像研究或同一侧别。我们通过在 1% 的标签数据集上微调线性层进行胸腔积液分类来评估下游任务性能。我们表现最佳的正样本对选择策略——使用同一患者同一研究中所有侧别的图像——相较 ImageNet 预训练基线在平均 AUC 上实现了 14.4% 的提升。我们的对照实验表明，提升疾病分类下游性能的关键在于：（1）利用患者元数据恰当地从具有相同或潜在病理的不同图像构建正样本对；（2）最大化查询配对中所用不同图像的数量。此外，我们探索利用患者元数据选择难负样本对用于对比学习，但未发现比不使用元数据的基线有所改进。我们的方法广泛适用于医学图像解读，并为在对比学习配对选择中融入医学见解提供了灵活性。
引用
@article{arxiv.2102.10663,
title = {MedAug: Contrastive learning leveraging patient metadata improves representations for chest X-ray interpretation},
author = {Yen Nhi Truong Vu and Richard Wang and Niranjan Balachandar and Can Liu and Andrew Y. Ng and Pranav Rajpurkar},
journal= {arXiv preprint arXiv:2102.10663},
year = {2021}
}