线性神经网络的几何：置换群下的等变与不变性

由线性全连接神经网络参数化的函数集合是一个行列式簇。我们研究在置换群作用下等变或不变的函数子簇。此类群作用的例子包括图像上的平移或 $90^\circ$ 旋转。我们将此类等变或不变子簇描述为行列式簇的直积，并由此推导其维数、次数、欧氏距离次数及其奇点。我们完整刻画了任意置换群的不变性，以及循环群的等变性。我们就稀疏性和权值共享性质，对等变与不变线性网络的参数化和设计得出结论。我们证明所有不变线性函数均可由单个线性自编码器参数化，其权值共享性质由所考虑置换的循环分解所施加。秩有界等变函数空间具有多个不可约分支，因此无法由单个网络参数化——但每个不可约分支可以。最后，我们证明在我们不变或等变网络上最小化平方误差损失，可借助 Eckart-Young 定理归约为从行列式簇出发最小化欧氏距离。