预训练模型在表征相似性退化下于医学影像中依然有效
计算机视觉与模式识别
2025-03-12 v1
摘要
本文研究了跨域迁移学习过程中表征相似性演化的关键问题，特别关注理解预训练模型在适应医学影像任务时，为何在存在显著领域差距的情况下仍能保持有效性。本研究建立了一个严谨的问题定义，侧重于量化和分析整个微调过程中的表征相似性轨迹，同时仔细界定其范围，以涵盖医学图像分析和更广泛的跨域适应场景。我们的实证发现揭示了三个关键发现：可能存在既保持任务准确性又保持与其预训练源表征相似性的高性能模型；层级相似性度量与表征质量指标之间存在稳健的线性相关性；以及区分监督与自监督预训练范式的独特适应模式。所提出的相似性空间框架不仅为知识转移动力学提供了机制性见解，而且对预训练模型的最优利用提出了根本性问题。这些结果推进了我们对神经网络适应过程的理解，同时为超越医学影像应用的迁移学习策略提供了实践启示。代码一经接收即予公开。
引用
@article{arxiv.2503.07958,
title = {Pre-trained Models Succeed in Medical Imaging with Representation Similarity Degradation},
author = {Wenqiang Zu and Shenghao Xie and Hao Chen and Lei Ma},
journal= {arXiv preprint arXiv:2503.07958},
year = {2025}
}
备注
10 pages, 5 figures