对比学习遇上迁移学习：医学图像分析中的案例研究
计算机视觉与模式识别
2021-03-05 v1
摘要
带标注的医学图像通常比有标签的自然图像更为稀少，因为它们受限于领域知识与隐私约束。迁移学习与对比学习的最新进展已从不同的角度提供了应对此类问题的有效方案。最先进的迁移学习（如 Big Transfer (BiT)）与对比学习（如 Simple Siamese Contrastive Learning (SimSiam)）方法已被独立研究，而未考虑这些技术的互补性质。鉴于缓慢的收敛速度是现代对比学习方法的关键局限，用迁移学习加速对比学习将是引人关注的。在本文中，我们研究将 BiT 与 SimSiam 对齐的可行性。根据经验分析，不同的归一化技术（BiT 中的 Group Norm 与 SimSiam 中的 Batch Norm）是将 BiT 适配到 SimSiam 的关键障碍。在将 BiT 与 SimSiam 结合时，我们在 CIFAR-10 与 HAM10000 数据集上评估了使用 BiT、SimSiam 以及 BiT+SimSiam 的性能。结果表明 BiT 模型加速了 SimSiam 的收敛速度。当一起使用时，该模型优于其两个对应模型。我们希望本研究将激励研究者重新审视将大型预训练模型与对比学习模型聚合用于图像分析的任务。
引用
@article{arxiv.2103.03166,
title = {Contrastive Learning Meets Transfer Learning: A Case Study In Medical Image Analysis},
author = {Yuzhe Lu and Aadarsh Jha and Yuankai Huo},
journal= {arXiv preprint arXiv:2103.03166},
year = {2021}
}