等价线性神经网络权重集合的几何结构

我们刻画了计算相同线性变换 $W$ 的所有权重向量集合的几何与拓扑结构。该权重集合称为 $W$ 的纤维（在矩阵乘法映射下），其嵌入在所有可能权重向量的欧几里得空间中。纤维是一种代数 variety，不必为流形。我们描述了对纤维进行分层的自然方法——即，将代数 variety 分割为有限个维数不同的流形集合称为层。我们称这些层为秩分层。我们推导了这些层的维数及其相互关系。虽然各层互不相交，但它们的闭合包不相交。我们的层满足前沿条件：若某层与另一层的闭合包相交，则前者是后者闭合包的子集。每个层都是嵌入在权重空间中的 $C^\infty$ 流形，因此在每个点（权重向量）处都有明确的切空间与法空间。我们展示了如何确定指定点处指定层的切空间与法空间，并构建了优雅的基。为实现这些目标，我们首先推导我们称为线性神经网络基本定理的东西，类似于 Strang 所称的线性代数基本定理。我们展示了如何将线性神经网络的每一层分解为一组子空间，以说明信息如何通过神经网络流动。纤维的每个层代表信息如何（或如何未能）通过神经网络流动的不同模式。层的拓扑性质完全取决于该分解。其几何结构也取决于该分解，除非在权重空间中进行线性变换。