ASTROMER：一种基于 transformer 的光变曲线表示嵌入模型
天体物理仪器与方法
2023-02-08 v3 机器学习
摘要
受自然语言嵌入的启发，我们提出 ASTROMER，一种基于 transformer 的模型，用于创建光变曲线的表示。ASTROMER 以自监督方式预训练，无需人工标注数据。我们使用数百万条 R 波段光变序列来调整 ASTROMER 的权重。学习到的表示可以通过在新源上重新训练 ASTROMER 轻松适配其他巡天。ASTROMER 的优势在于使用该表示提取光变曲线嵌入，从而增强其他模型（如分类器或回归器）的训练。作为一个示例，我们使用 ASTROMER 嵌入训练了两个基于神经网络的分类器，这些分类器使用了来自 MACHO、OGLE-III 和 ATLAS 的标注变星。在所有实验中，当可用标注数据有限时，基于 ASTROMER 的分类器优于直接在光变曲线上训练的基线循环神经网络。此外，使用 ASTROMER 嵌入减少了所需的计算资源，同时取得了最先进的结果。最后，我们提供了一个 Python 库，包含本工作中使用的所有功能。该库、主要代码和预训练权重可在 https://github.com/astromer-science 获取。
引用
@article{arxiv.2205.01677,
title = {ASTROMER: A transformer-based embedding for the representation of light curves},
author = {C. Donoso-Oliva and I. Becker and P. Protopapas and G. Cabrera-Vives and Vishnu M. and Harsh Vardhan},
journal= {arXiv preprint arXiv:2205.01677},
year = {2023}
}