具有逐点激活函数的等变网络的刻画定理
机器学习
2024-01-18 v1 人工智能
摘要
等变神经网络在对称域上表现出改进的性能、表达力和样本复杂度。但对于某些特定的对称性、表示和坐标选择，最常见的逐点激活函数（如 ReLU）并不具备等变性，因此无法用于设计等变神经网络。本文提出的定理描述了所有可能的有限维表示、坐标选择和逐点激活函数的组合，以获得精确的等变层，从而推广并加强了现有的刻画结果。文中作为推论讨论了一些具有实际意义的显著案例。事实上，我们证明了旋转等变网络只能是等变的（invariant），这与任何关于连通紧群的等变网络的情况相同。随后，我们讨论了我们的发现应用于重要精确等变网络实例时的含义。首先，我们完全刻画了具有逐点非线性的不变图网络（Invariant Graph Networks）及其几何对应物等置换等变网络，突显了大量其表达力和性能尚未知的模型。其次，我们证明了可解耦的可操纵卷积神经网络（steerable convolutional neural networks）的特征空间是平凡表示。
引用
@article{arxiv.2401.09235,
title = {A Characterization Theorem for Equivariant Networks with Point-wise Activations},
author = {Marco Pacini and Xiaowen Dong and Bruno Lepri and Gabriele Santin},
journal= {arXiv preprint arXiv:2401.09235},
year = {2024}
}
备注
Accepted at the 12th International Conference on Learning Representations (ICLR 2024)