线性等变网络的隐式偏置

群等变卷积神经网络（G-CNNs）是卷积神经网络（CNNs）的推广，它们通过在架构中显式编码诸如旋转和置换等对称性，在广泛的技术应用中表现出色。尽管G-CNNs的成功由其\emph{显式}对称性偏置驱动，近期一系列工作提出，在特定架构上训练算法的\emph{隐式}偏置是理解过参数化神经网络泛化的关键。在此背景下，我们证明通过梯度下降训练用于二分类的$L$层全宽线性G-CNNs会收敛到具有低秩傅里叶矩阵系数的解，并由$2/L$-Schatten矩阵范数正则化。我们的工作严格地将先前关于线性CNNs隐式偏置的分析推广到所有有限群上的线性G-CNNs，包括非交换群（如置换）这一困难设定，以及无限群上的带限G-CNNs。我们在多种群上通过实验验证了我们的定理，并经验性地探索了更现实的非线性网络，其局部捕获了类似的正则化模式。最后，我们通过不确定性原理在实空间中对我们的傅里叶空间隐式正则化结果提供了直观解释。