清晰的矩：利用矩池化精简机器学习中的潜在空间
高能物理 - 唯象学
2024-10-18 v2 机器学习
机器学习
摘要
许多机器学习应用涉及学习数据的潜在表示，这种表示通常是高维的且难以直接解释。在这项工作中，我们提出了“矩池化”，这是 Deep Sets 网络的一种自然扩展，它能在保持甚至提高性能的同时，大幅降低这些网络的潜在空间维度。矩池化将 Deep Sets 中的求和推广到任意多元矩，使模型能够在固定的潜在维度下实现高得多的有效潜在维度。我们通过将 Energy Flow Networks (EFNs) 扩展为 Moment EFNs，在夸克/胶子喷注分类的对撞机物理任务上展示了矩池化。我们发现，潜在维度小至 1 的 Moment EFNs 的表现与具有较高潜在维度的普通 EFNs 相似。这种较小的潜在维度允许内部表示被直接可视化和解释，这反过来使得学习到的内部喷注表示能够以解析形式提取。
引用
@article{arxiv.2403.08854,
title = {Moments of Clarity: Streamlining Latent Spaces in Machine Learning using Moment Pooling},
author = {Rikab Gambhir and Athis Osathapan and Jesse Thaler},
journal= {arXiv preprint arXiv:2403.08854},
year = {2024}
}
备注
15+7 pages, 14 figures, 7 tables. Code available at https://github.com/athiso/moment and https://github.com/rikab/MomentAnalysis; v2: Updated to match journal version