jBOT:语义喷注表示聚类从自蒸馏中涌现
机器学习
2026-04-27 v3 高能物理 - 实验
摘要
在基础模型训练的背景下,自监督学习是一种强大的无标签特征表示预训练方法,它通常能从数据中捕获通用的底层语义,并可在后续针对下游任务进行微调。在本工作中,我们引入了 jBOT,一种基于自蒸馏的预训练方法,用于来自 CERN 大型强子对撞机的喷注数据,该方法将局部粒子级蒸馏与全局喷注级蒸馏相结合,以学习支持异常检测和分类等下游任务的喷注表示。我们观察到,在无标签喷注上进行预训练会导致表示空间中涌现出语义类别聚类。当仅在背景喷注上进行预训练时,冻结嵌入中的聚类能够通过简单的基于距离的度量实现异常检测,并且学习到的嵌入可以针对分类进行微调,其性能优于从零开始训练的监督模型。
引用
@article{arxiv.2601.11719,
title = {jBOT: Semantic Jet Representation Clustering Emerges from Self-Distillation},
author = {Ho Fung Tsoi and Dylan Rankin},
journal= {arXiv preprint arXiv:2601.11719},
year = {2026}
}
备注
Under review