重新审视自监督医学影像分析中的微调策略
计算机视觉与模式识别
2023-11-17 v2
摘要
尽管自监督学习(SSL)进展迅速,端到端微调仍是医学影像分析中的主导微调策略。然而,考虑到捕获不同类型特征的各种SSL类别,该方法是否真正最优以有效利用预训练知识仍不清楚。本文首次开展全面研究,探索医学影像中自监督学习的有效微调策略。在开发出在四个不同下游任务上超越SOTA方法的强对比式与修复式SSL基线后,我们在多个预训练与微调数据集以及各种微调数据集规模上进行了广泛的微调分析。与仅微调预训练网络最后几层的传统观念相反,我们表明微调中间层更为有效:对对比式SSL,微调网络第二个四分之一(25-50%)段最优;对修复式SSL,微调第三个四分之一(50-75%)段最优。相较于事实标准的端到端微调,我们最佳的微调策略微调由预训练网络前三个四分之一(0-75%)组成的较浅网络,带来了高达5.48%的提升。此外,利用这些见解,我们提出一种简单而有效的方法以利用多个SSL模型的互补优势,相较于单独使用最佳模型带来了高达3.57%的增强。因此,我们的微调策略不仅提升了单个SSL模型的性能,还实现了对多个SSL模型所提供互补优势的有效利用,从而在自监督医学影像分析中取得显著改进。
引用
@article{arxiv.2307.10915,
title = {Revisiting Fine-Tuning Strategies for Self-supervised Medical Imaging Analysis},
author = {Muhammad Osama Khan and Yi Fang},
journal= {arXiv preprint arXiv:2307.10915},
year = {2023}
}
备注
Extended Abstract presented at Machine Learning for Health (ML4H) symposium 2023, December 10th, 2023, New Orleans, United States, 18 pages