迈向光谱基础模型：一种基于注意力的方法与领域启发式微调及波长参数化
天体物理仪器与方法
2023-06-29 v1 星系天体物理
太阳与恒星天体物理
摘要
天体物理探索依赖于大规模恒星光谱巡天，这亟需光谱拟合技术的范式转变。我们的研究提出三项改进以超越当前光谱仿真模型的局限。我们实现了一种基于注意力的仿真器，善于揭示波长像素间的长程信息。我们利用领域特定的微调策略，模型先在具有固定恒星参数与可变元素丰度的光谱上预训练，再在整个领域上微调。此外，通过将波长视为自主模型参数（类似于神经辐射场），模型可在任意波长网格上生成光谱。在训练集规模为 O(1000) 的情况下，我们的方法在所有指标上以 5-10 倍的差距超越当前领先方法。
引用
@article{arxiv.2306.15703,
title = {Toward a Spectral Foundation Model: An Attention-Based Approach with Domain-Inspired Fine-Tuning and Wavelength Parameterization},
author = {Tomasz Różański and Yuan-Sen Ting and Maja Jabłońska},
journal= {arXiv preprint arXiv:2306.15703},
year = {2023}
}
备注
7 pages, 3 figures, accepted to ICML 2023 Workshop on Machine Learning for Astrophysics