ReLU 网络的隐藏对称性

对于任何固定的前馈 ReLU 神经网络架构，其参数空间在训练期间充当关联函数类的代理——但这一表示有多忠实？已知许多不同参数设置可确定同一函数。此外，这种冗余程度是非均匀的：对某些网络，唯一的对称性是层内神经元置换及神经元参数正缩放，而其他网络则容许额外的隐藏对称性。在本工作中，我们证明，对于任何无层窄于输入的架构，存在无隐藏对称性的参数设置。我们也描述了隐藏对称性可产生的若干机制，并在初始化时经验近似不同网络架构的函数维数。这些实验表明，网络无隐藏对称性的概率随深度增加而趋向 0，而随宽度与输入维数增加而趋向 1。