JetFormer：面向离线分析至FPGA触发器的可扩展且高效的喷流标记Transformer
机器学习
2026-02-10 v1 高能物理 - 实验
摘要
我们提出了JetFormer，这是一个多功能且可扩展的编码器-only Transformer架构，用于大型强子对碰撞实验室（LHC）中的喷流标记。与针对特定部署场景进行优化的先前方法不同，JetFormer被设计为能够在喷流标记的完整范围内高效运行，从高精度的离线分析到超低延迟的在线触发。该模型能够处理可变长度的粒子特征集合，而无需依赖显式的两两相互作用输入，却在准确率上与最先进方法持平或更优。在大规模JetClass数据集上，大型JetFormer在准确率上与包含大量相互作用的ParT模型相近（差距仅0.7%），同时使用了37.4%更少的浮点运算次数，显示出其计算效率和强大的泛化能力。在基准的HLS4ML 150P数据集上，JetFormer consistently优于现有模型，如MLP、Deep Sets和Interaction Networks，准确率提升3-4%。为弥合硬件部署之间的差距，我们进一步引入基于多目标超参数搜索的硬件感知优化管线，产生如JetFormer-tiny等紧凑型变体，适用于需实现亚微秒延迟的FPGA触发器系统。通过结构化剪枝和量化，我们展示了JetFormer可以在最小化准确率损失的同时进行激进压缩。通过在单一架构框架中统一高性能建模与可部署性，JetFormer为在LHC的离线和在线环境中部署基于Transformer的喷流标记器提供了实用路径。代码已公开于https://github.com/walkieq/JetFormer。
关键词
引用
@article{arxiv.2601.17215,
title = {JetFormer: A Scalable and Efficient Transformer for Jet Tagging from Offline Analysis to FPGA Triggers},
author = {Ruoqing Zheng and Chang Sun and Qibin Liu and Lauri Laatu and Arianna Cox and Benedikt Maier and Alexander Tapper and Jose G. F. Coutinho and Wayne Luk and Zhiqiang Que},
journal= {arXiv preprint arXiv:2601.17215},
year = {2026}
}
备注
15 pages,