基于 BEiT-3 改进中微子事件重建
天体物理仪器与方法
2025-01-07 v5 高能天体物理现象
高能物理 - 实验
高能物理 - 唯象学
摘要
中微子事件重建对 IceCube 中微子天文台一直至关重要。在 Kaggle 竞赛“IceCube——深冰中的中微子”中，许多方案使用了 Transformer。我们提出 ISeeCube，一种基于 TorchScale（BEiT-3 的骨干网络）的纯 Transformer 模型。在可训练参数总量相近的情况下，我们的模型优于第二名方案。通过使用 TorchScale，代码行数骤减约 80%，且许多新方法可通过简单调整配置进行测试。我们比较了连续空间预测的两种基本模型：回归与分类，分别使用 MSE Loss 与 CE Loss 训练。我们还提出一种新指标 overlap ratio 来评估模型性能。由于模型足够简单，其有潜力用于更多用途，如能量重建，且许多新方法（如将其与 GraphNeT 结合）可更易测试。代码与预训练模型见 https://github.com/chenlinear/ISeeCube。
引用
@article{arxiv.2308.13285,
title = {Refine Neutrino Events Reconstruction with BEiT-3},
author = {Chen Li and Hao Cai and Xianyang Jiang},
journal= {arXiv preprint arXiv:2308.13285},
year = {2025}
}
备注
17 pages, 7 figures