通过自注意力机制寻找强引力透镜

即将开展的大规模巡天（如 LSST）预计将通过分析比当代天文巡天大许多个数量级的数据，发现约 $10^5$ 个强引力透镜。在这种情况下，非自动化技术即使并非完全不可行，也将极具挑战性且耗时巨大。我们提出了一种基于自注意力原理的新型自动化架构来寻找强引力透镜。本文研究了基于自注意力的编码器模型相较于卷积神经网络的优势，并分析了优化编码器模型结果的方法。我们构建并训练了 21 个基于自注意力的编码器模型和 5 个卷积神经网络，以从 Bologna Lens Challenge 中识别引力透镜。每个模型分别使用 18,000 张模拟图像进行训练，使用 2,000 张图像进行交叉验证，然后应用于包含 100,000 张图像的测试集。我们使用了四个不同的指标进行评估：分类准确率、受试者工作特征曲线下面积（AUROC）、TPR$_0$ 分数和 TPR$_{10}$ 分数。本文比较了基于自注意力的编码器模型与参与该挑战的 CNN 的性能。在 TPR$_0$ 和 TPR$_{10}$ 指标上，它们能够以很大优势超越参与 Bologna Lens Challenge 的 CNN 模型。与简单的 CNN 相比，基于自注意力的模型具有明显优势。与目前使用的残差神经网络相比，它们具有高度竞争力的性能。与 CNN 相比，基于自注意力的模型能够识别高置信度的透镜候选体，并能够从真实数据中滤除潜在的候选体。此外，引入编码器层还可以通过充当有效滤波器来解决 CNN 中存在的过拟合问题。