面向科学数据的 Transformer：天文学家教学式综述
天体物理仪器与方法
2023-10-20 v2 机器学习
摘要
与 ChatGPT 及相关生成式 AI 产品相关的深度学习架构被称为 Transformer。Transformer 及其所利用的自注意力机制最初应用于自然语言处理，随后在自然科学各领域引起了广泛兴趣。本教学式且非正式的综述旨在向科学家介绍 Transformer。综述包含注意力机制背后的数学原理、原始 Transformer 架构的描述，以及一节关于在天文学中应用于时间序列与成像数据的内容。我们为好奇于生成式 AI 或希望着手将 Transformer 用于其研究问题的读者 included 一个常见问题解答部分。
引用
@article{arxiv.2310.12069,
title = {Transformers for scientific data: a pedagogical review for astronomers},
author = {Dimitrios Tanoglidis and Bhuvnesh Jain and Helen Qu},
journal= {arXiv preprint arXiv:2310.12069},
year = {2023}
}
备注
17 pages, 5 figures