融合注意力机制与视觉Transformer增强天文源分类
天体物理仪器与方法
2024-08-29 v1
摘要
天体目标的精确分类对于增进我们对宇宙的理解至关重要。MargNet是一种最近开发的基于深度学习的分类器，应用于SDSS DR16数据集，利用测光数据区分恒星、类星体和致密星系。MargNet采用堆叠架构，结合了用于图像建模的卷积神经网络（CNN）和用于建模测光参数的人工神经网络（ANN）。在本研究中，我们提出通过引入注意力机制和基于视觉Transformer（ViT）的模型来处理图像数据，从而增强MargNet的性能。注意力机制使模型能够关注相关特征并捕捉图像中的复杂模式，有效区分不同类别的天体目标。此外，我们利用ViT，这是一种在图像分类任务中表现出色的基于Transformer的深度学习架构。通过利用ViT捕捉全局依赖关系和上下文信息的能力，我们增强了模型对复杂天文图像的理解。我们的方法使用了一个包含240,000个致密天体和150,000个暗弱天体的精选数据集。模型直接从数据中学习分类，最大限度地减少了人工干预。此外，我们探索了ViT作为一种混合架构，同时使用测光特征和图像作为输入来预测天体目标。我们的结果表明，在MargNet中提出的注意力机制增强的CNN略微优于传统的MargNet和提出的基于ViT的MargNet模型。此外，基于ViT的混合模型成为最轻量级且易于训练的模型，其分类准确率与性能最佳的注意力增强型MargNet相似。
引用
@article{arxiv.2408.13634,
title = {Enhanced Astronomical Source Classification with Integration of Attention Mechanisms and Vision Transformers},
author = {Srinadh Reddy Bhavanam and Sumohana S. Channappayya and P. K. Srijith and Shantanu Desai},
journal= {arXiv preprint arXiv:2408.13634},
year = {2024}
}
备注
33 pages, 11 figures. Accepted for publication in APSS