通过概率对称性打破提高等变网络性能
机器学习
2025-03-31 v1 机器学习
摘要
等变性将已知对称性编码到神经网络中，常常可增强泛化。然而，等变网络无法打破对称性：按定义，等变网络的输出必须至少保留与输入相同的自对称性。这是一个重要问题，既(1)针对自对称性常见的预测任务，又(2)针对必须打破对称性以从高度对称的潜在空间重构的生成模型。通过考虑等变条件分布而非等变函数，可解决这一根本性限制。我们提出了新的理论结果，确立表示此类分布的必要且充分条件。具体而言，该表示提供了一个实用的框架，可通过随机标准化在任何等变网络中实现对称性打破。我们的方法SymPE(对称性打破的位置编码)可简单地解释为位置编码。这一方法在保持对称性的归纳偏置的同时，扩充了等变网络的表征能力，我们通过泛化界定了其合理性。实验结果表明，SymPE显著提高了基于群等变和图神经网络的扩散模型、图自动编码器和晶格自旋系统建模的性能。
引用
@article{arxiv.2503.21985,
title = {Improving Equivariant Networks with Probabilistic Symmetry Breaking},
author = {Hannah Lawrence and Vasco Portilheiro and Yan Zhang and Sékou-Oumar Kaba},
journal= {arXiv preprint arXiv:2503.21985},
year = {2025}
}
备注
28 pages, 7 figures