弥合差距：审视视觉基础模型在光学与射电天文学中的应用

视觉基础模型在许多多媒体应用中展现出巨大潜力，但在自然科学中却常常未被充分利用。这主要是由于领域特定的科学数据性质与用于基础模型的典型训练数据之间存在不匹配，导致分布偏移。科学数据通常在结构和特征上存在显著差异，研究人员经常面临在仅有几百或几千张图像的有限标注数据下优化模型性能的挑战。这项工作评估了视觉基础模型在天体物理学中的性能，重点关注识别将其适应于领域特定数据集的最佳实践。我们旨在建立一个框架，用于为光学和射电天文学中的常见任务选择、微调和优化这些模型。我们比较了多个基础模型，包括自监督、弱监督和基于蒸馏的架构，在两个具有代表性的光学和射电数据集上进行了实验。实验涉及不同的微调策略、投影头和数据处理技术，并通过分类和检测指标评估性能。与传统的监督训练相比，特定基础模型提取的特征提高了光学星系图像的分类精度。同样，这些模型在射电图像的目标检测任务中达到了相当或更优的性能。然而，射电星系图像的分类性能普遍较差，常常不如监督方法。这些发现表明，只要实践者在模型选择、训练策略和数据处理上进行迭代，视觉基础模型就可以有效地适应天体物理应用。