基于对比学习的深度学习模型自监督预训练中选择性减少CT数据可提升下游分类性能
图像与视频处理
2024-10-21 v1 人工智能
计算机视觉与模式识别
摘要
对深度学习模型进行基于对比学习的自监督预训练是图像分析中广泛使用的方法。当前研究表明，对比预训练在医学图像上的潜力巨大，但还需进一步研究其在医学图像特定特征上的应用。我们假设，医学图像的相似性可能阻碍了对比学习在医学影像领域的成功。为此，我们研究了基于深度嵌入、信息论和哈希等不同策略，以识别和减少医学预训练数据集中的冗余。评估了这些不同减量策略对对比学习的影响，分别在两个预训练数据集和多个下游分类任务上进行。在我们的所有实验中，数据集减量都导致下游任务性能显著提升，例如在COVID CT分类大型挑战中，AUC得分从0.78提升至0.83；在OrganSMNIST分类挑战中从0.97提升至0.98；在脑出血分类任务中从0.73提升至0.83。此外，由于数据集减量，预训练速度可提高最高达九倍。总体而言，本文提出的方法凸显了数据集质量的重要性，提供了一种可迁移的方法，以提高医学图像上面向分类下游任务的对比预训练性能。
引用
@article{arxiv.2410.14524,
title = {Less is More: Selective Reduction of CT Data for Self-Supervised Pre-Training of Deep Learning Models with Contrastive Learning Improves Downstream Classification Performance},
author = {Daniel Wolf and Tristan Payer and Catharina Silvia Lisson and Christoph Gerhard Lisson and Meinrad Beer and Michael Götz and Timo Ropinski},
journal= {arXiv preprint arXiv:2410.14524},
year = {2024}
}
备注
Published in Computers in Biology and Medicine