光变曲线 Transformer 的位置编码：位置与注意力的探究
天体物理仪器与方法
2023-08-15 v1
摘要
我们进行了实证实验，以评估光变曲线 transformer 在使用不同位置编码（PEs）时向具有不同采样节奏与星等分布的数据集的迁移能力。我们提出了一种将时间信息直接融入最后注意力层输出的新方法。结果表明，使用可训练 PEs 能显著提升 transformer 的性能与训练速度。我们提出的注意力上的 PE 比传统不可训练 PE transformer 训练更快，且在迁移到其他数据集时取得具有竞争力的结果。
引用
@article{arxiv.2308.06404,
title = {Positional Encodings for Light Curve Transformers: Playing with Positions and Attention},
author = {Daniel Moreno-Cartagena and Guillermo Cabrera-Vives and Pavlos Protopapas and Cristobal Donoso-Oliva and Manuel Pérez-Carrasco and Martina Cádiz-Leyton},
journal= {arXiv preprint arXiv:2308.06404},
year = {2023}
}
备注
In Proceedings of the 40th International Conference on Machine Learning (ICML), Workshop on Machine Learning for Astrophysics, PMLR 202, 2023, Honolulu, Hawaii, USA