若干现代深度学习技术对实验高能物理用例中分类模型性能与速度的影响
数据分析、统计与概率
2020-06-03 v4 机器学习
高能物理 - 实验
机器学习
摘要
从一个基础神经网络架构出发，我们在一典型高能物理领域分类问题中，利用一个被广泛研究的数据集：2014 Higgs ML Kaggle 数据集，测试了一系列机器学习（特别是深度学习）高级技术所带来的潜在益处。我们从性能指标以及训练与应用所得模型所需时间两方面评估这些优势。所考察的技术包括领域特定的数据增强、学习率与动量调度、（高级）模型空间与权重空间集成、以及替代架构与连接方法。经研究，我们得到一个模型，其性能与原始 Kaggle 挑战赛的获胜方案相当，同时训练与应用显著更快，且适用于 GPU 与 CPU 硬件配置。这些在时间与硬件需求上的降低，潜在地允许在 HEP 分析中使用更强大的算法，此类分析中模型必须频繁重训练，有时需临时由硬件资源有限的小组研究人员完成。此外，本文提出了一个名为 LUMIN 的 PyTorch 新封装库，其集成了所有被研究的技术。
引用
@article{arxiv.2002.01427,
title = {On the impact of selected modern deep-learning techniques to the performance and celerity of classification models in an experimental high-energy physics use case},
author = {Giles Chatham Strong},
journal= {arXiv preprint arXiv:2002.01427},
year = {2020}
}
备注
Preprint V4: Fixing typographical error and correcting two plots. Mach. Learn.: Sci. Technol (2020)