结构化状态空间模型在高能物理中的应用:局部敏感哈希
机器学习
2025-01-28 v1 仪器与探测器
摘要
现代高能物理(HEP)实验面临着巨大数据规模和复杂性的挑战,尤其是在大规模点云处理和长序列处理方面。本文探索了结构化状态空间模型(SSMs)的应用,提出了首次将局部敏感哈希集成到混合模型或纯 Mamba 模型中的尝试。我们的结果表明,纯 SSMs 可作为处理涉及长序列数据且具有局部归纳偏置的 HEP 问题的强大基础模型。通过将局部敏感哈希集成到 Mamba 块中,我们在关键 HEP 任务中显著优于传统基础模型,推理速度和物理指标均提升,计算开销降低。在关键测试中,我们的方法表现前景广阔,为传统 Transformer 基础模型提供了可行的替代方案,显著降低 FLOPS 而又保持稳健的性能。
引用
@article{arxiv.2501.16237,
title = {Application of Structured State Space Models to High energy physics with locality-sensitive hashing},
author = {Cheng Jiang and Sitian Qian},
journal= {arXiv preprint arXiv:2501.16237},
year = {2025}
}
备注
6 figures, accepted by AISTATS 2025 as poster, camera ready versions to be updated