OmniJet-$\alpha$：首个用于粒子物理的跨任务基础模型
高能物理 - 唯象学
2024-09-10 v2 机器学习
高能物理 - 实验
数据分析、统计与概率
摘要
基础模型是多数据集、多任务的机器学习方法，一旦经过预训练，即可微调用于各种下游应用。为物理数据成功开发此类通用模型将是一个重大突破，因为它们可以在大幅提高可达到的物理性能的同时，极大地减少所需的训练时间和数据量。我们在多个方面报告了在此挑战上的显著进展。首先，引入了一套全面的评估方法，以判断从物理数据编码到适合使用 Transformer 架构（基础模型的常见骨干网络）自回归生成粒子喷注的表示形式的质量。这些度量标准促使选择比先前工作更高保真度的标记化方法。最后，我们利用新的 OmniJet- 模型展示了从无监督问题（喷注生成）到经典监督任务（喷注标记）之间的迁移学习。这是两个不同且正在积极研究的任务类之间的首次成功迁移，构成了构建粒子物理基础模型的重要一步。
引用
@article{arxiv.2403.05618,
title = {OmniJet-$\alpha$: The first cross-task foundation model for particle physics},
author = {Joschka Birk and Anna Hallin and Gregor Kasieczka},
journal= {arXiv preprint arXiv:2403.05618},
year = {2024}
}