对称性破缺与等变神经网络
机器学习
2024-03-25 v2 机器学习
摘要
将对称性作为深度学习中的归纳偏置已被证明是一种具备样本效率的模型设计原则方法。然而，对称性与神经网络中等变性必要性之间的关系并不总是显而易见的。在此，我们分析了等变函数中出现的一个关键局限：它们无法在单个数据样本层面打破对称性。作为回应，我们引入了一种“松弛等变”的新概念以规避该局限。我们进一步展示了如何将这种松弛机制融入等变多层感知机（E-MLP），提供了噪声注入方法的替代方案。随后，我们讨论了对称性破缺在多个应用领域中的相关性：物理学、图表征学习、组合优化以及等变解码。
引用
@article{arxiv.2312.09016,
title = {Symmetry Breaking and Equivariant Neural Networks},
author = {Sékou-Oumar Kaba and Siamak Ravanbakhsh},
journal= {arXiv preprint arXiv:2312.09016},
year = {2024}
}
备注
14 pages, 2 figures, Symmetry and Geometry in Neural Representations