恒星光谱模拟的标度律

用于推断恒星参数和元素丰度的基于神经网络的模拟器代表了现代光谱巡天中日益流行的方法。然而，这些方法通常受到其模拟精度和域迁移能力的限制。此前，只有显著更大的模型架构才能实现更好的泛化能力，正如自然语言处理中基于 Transformer 的模型所证明的那样。这一观察符合神经标度律，即模型性能随着模型规模、分配给模型训练的计算资源和训练数据量的增加而可预测地提高。在本研究中，我们证明了这些标度律同样适用于天文学中基于 Transformer 的光谱模拟器。基于我们之前使用 TransformerPayne 的工作，并结合自然语言模型中的最大更新参数化技术，我们提供了将模型扩展以实现最佳性能的训练指南。我们的结果表明，在所探索的参数空间内，出现了清晰的标度关系。这些发现表明，最佳计算资源分配需要平衡扩展。具体而言，给定训练计算量增加十倍，要实现均方误差最佳减少七倍，需要数据集大小增加约 2.5 倍，模型大小增加 3.8 倍。本研究为开发具有增强域迁移能力的光谱基础模型奠定了基础。