面向恒星的天文基础模型：基于Transformer的模型探索

当前，基于Transformer的模型如大语言模型（LLMs）在人工智能领域正取得快速进展。这些方法在天文学中创建单一、大型、通用模型的潜力尚未被探索。在这项工作中，我们提出了一种数据驱动天文学的框架，其使用与LLMs相同的核心技术及架构。以多种恒星观测与标签为例，我们构建了一个基于Transformer的模型，并以自监督方式利用跨巡天数据集对其进行训练，以执行多种推断任务。特别地，我们证明了一个单一模型可以执行判别性与生成性任务，即便该模型未被训练或微调以执行任何特定任务。例如，在从Gaia XP光谱推导恒星参数的判别任务上，我们在$T_\mathrm{eff}$上达到47 K的精度，在$\log{g}$上达到0.11 dex，在$[\mathrm{M/H}]$上达到0.07 dex，在相同设置下优于一个专家$\texttt{XGBoost}$模型。但同一模型也可从恒星参数生成XP光谱、修补未观测到的光谱区域、提取经验恒星轨迹，甚至确定星际消光曲线。我们的框架表明，使用多巡天的数据与参数构建并训练一个无需微调的单一基础模型来预测未测量的观测与参数，已完全可行。此类在大量观测数据上训练的“大天文模型”将在当前与未来大型巡天的分析中发挥重要作用。