AstroMAE：使用新型微调架构的掩码自编码器红移预测

红移预测是天文学中的一项基本任务，对于理解宇宙膨胀和确定天文物体的距离至关重要。准确的红移预测对于推进我们对宇宙的了解至关重要。机器学习方法以其精确性和速度著称，为这一复杂任务提供了有前景的解决方案。然而，传统机器学习算法高度依赖标记数据和任务特定的特征提取。为克服这些限制，我们引入AstroMAE，这是一种创新的方法，使用掩码自编码器方法在Sloan Digital Sky Survey (SDSS)图像上对视觉转换器编码器进行预训练。该技术使编码器能够在不依赖标签的情况下捕捉数据中的全局模式。据我们所知，AstroMAE是首次将掩码自编码器应用于天文数据。通过在预训练阶段忽略标签，编码器收集数据一般理解。随后，预训练的编码器在专为红移预测量身定制的特殊架构中进行微调。我们对比了各种视觉转换器架构和基于CNN的模型，展示了AstroMAE预训练模型和微调架构的优越性能。