从预训练到下游性能：领域特定预训练是否合理？
计算机视觉与模式识别
2026-05-12 v1 机器学习
摘要
深度学习技术已彻底变革医学影像，提高了诊断准确性，使更准确更早的疾病检测成为可能。然而，预训练策略与下游性能之间的关系仍需进一步探索。本文系统比较了卷积神经网络和变换器，考察了各种预训练方法，包括监督学习和自监督学习，以及不同的初始化方式和数据模态。模型在自然图像、胸片 X 光、胸部 CT 和视网膜 OCT 图像上进行评估，考虑了匹配预训练数据与目标模态的效果。我们的发现表明，只有预训练于与目标模态高度匹配的数据才能显著提升下游性能。虽然自监督学习有时能优于监督方法，但其效果取决于具体情境。该研究强调了预训练策略的重要性，以提升医学影像深度学习模型的可靠性和有效性。通过解决这些关键因素，本研究旨在为开发更准确、更可靠的诊断工具贡献力量，从而改善临床环境中患者预后。
引用
@article{arxiv.2605.08819,
title = {From pre-training to downstream performance: Does domain-specific pre-training make sense?},
author = {Felix Krones},
journal= {arXiv preprint arXiv:2605.08819},
year = {2026}
}