可约双曲正切网络的函数等价性与路径连通性

理解人工神经网络的学习过程需要厘清学习所发生的参数空间的结构。神经网络的参数函数等价类是实现相同输入—输出函数的参数集合。对于许多架构，几乎所有参数都具有简单且已有充分文献记载的函数等价类。然而，也存在占比趋于零的少数可约参数，其更丰富的函数等价类由网络单元间的冗余引起。本文中，我们针对单隐层双曲正切架构，给出了单元冗余与可约函数等价类的算法刻画。我们证明此类函数等价类是分段线性路径连通集，并且对于多数单元冗余的参数，这些集合的直径至多为 7 个线性段。