学习的谐波：不变网络中涌现的通用傅里叶特征

在这项工作中，我们正式证明，在一定条件下，如果一个神经网络对有限群是不变的，那么它的权重会恢复该群上的傅里叶变换。这为傅里叶特征的涌现提供了数学解释——傅里叶特征是生物和人工学习系统中普遍存在的现象。该结果甚至对非交换群也成立，在这种情况下，傅里叶变换编码了所有不可约酉群表示。我们的发现对对称性发现问题具有推论。具体而言，我们证明了，未知群的代数结构可以从一个在一定界限内至少是近似不变的网络的权重中恢复出来。总体而言，这项工作为不变神经网络表示的代数学习理论奠定了基础。