重新审视迁移学习中用于医学影像的隐藏表示
计算机视觉与模式识别
2023-12-06 v3 机器学习
摘要
虽然深度学习成功的关键要素之一是大量训练数据的可用性，但医学图像数据集往往在多样性和规模上受限。迁移学习有潜力弥合相关但不同领域之间的差距。然而，对于医学应用，在自然图像还是医学图像上进行预训练更有益仍不明确。我们旨在通过比较在 ImageNet 和 RadImageNet 上初始化在七项医学分类任务上的表现，来阐明这一问题。我们的工作包含一项复现研究，其得到的结果与先前发表的结论相反。在我们的实验中，在 ImageNet 上预训练的 ResNet50 模型往往优于在 RadImageNet 上训练的模型。为获得更深入的见解，我们使用典型相关分析（Canonical Correlation Analysis, CCA）研究学到的表示，并比较不同模型的预测。我们的结果表明，与直觉相反，ImageNet 和 RadImageNet 可能收敛到不同的中间表示，这些表示在微调过程中似乎进一步分化。尽管存在这些不同的表示，模型的预测仍然相似。我们的发现表明，网络在微调前后的相似度与性能提升并不相关，这意味着迁移学习的优势可能并非仅仅源于卷积神经网络早期层中特征的复用。
引用
@article{arxiv.2302.08272,
title = {Revisiting Hidden Representations in Transfer Learning for Medical Imaging},
author = {Dovile Juodelyte and Amelia Jiménez-Sánchez and Veronika Cheplygina},
journal= {arXiv preprint arXiv:2302.08272},
year = {2023}
}
备注
Published in TMLR