所有ReLU网络都具有可识别参数

我们研究深层ReLU网络的实现映射，关注函数如何在比例和置换的公理下确定其参数。为分析这些标准对称性之外的隐藏冗余，我们引入基于加权多面体复合体的框架。我们的主要结果表明，对于输入和隐藏层宽度至少为 2 的每个体系结构，都存在一组可识别参数的开放集。这意味着每个此类体系结构的函数维度恰好等于参数数量减去隐藏神经元数量。我们进一步表明，最小功能表示仍可能具有非平凡的参数冗余。最后，我们建立了一个通用的深度层次结构，对于一组参数的实现函数，无法被任何更浅网络普遍表示。