均匀空间上等变非线性映射的神经网络
机器学习
2025-04-30 v1 表示论
机器学习
摘要
本文提出了一种用于均匀空间上非线性等变神经网络层的新框架。Cohen 等人关于等变 G-CNN 在均匀空间上的工作在线性设置下刻画了此类层的表示论，发现它们由满足所谓可导约束的卷积核给出。受非线性层（如自注意力或输入依赖卷积核）的经验成功启发，我们设法将这些见解推广到非线性设置。我们推导了任何此类层都必须满足的广义可导约束，并证明了我们的构建的普遍性。我们对等变算子在特征图和群元素之间的对称约束功能依赖性的洞见为设计未来的等变神经网络层提供了指导。我们展示了如何从我们的框架中推导出几种常见的等变网络架构——G-CNN、隐式可导核网络、常规和相对位置嵌入注意力基于变换器，以及 LieTransformers。
引用
@article{arxiv.2504.20974,
title = {Equivariant non-linear maps for neural networks on homogeneous spaces},
author = {Elias Nyholm and Oscar Carlsson and Maurice Weiler and Daniel Persson},
journal= {arXiv preprint arXiv:2504.20974},
year = {2025}
}
备注
45 pages,10 figures