深度 ReLU 网络具有出奇简单的多面体
机器学习
2024-11-25 v2 人工智能
计算机视觉与模式识别
多媒体
摘要
ReLU 网络是多面体上的分段线性函数。弄清此类多面体的性质对神经网络的研发具有根本重要性。迄今为止，关于多面体的理论或经验研究仅停留在计数其数量层面，远未构成完整刻画。在此，我们提出通过多面体的面数来研究其形状。进而，通过计算并分析跨多面体的面数直方图，我们发现 ReLU 网络在初始化与梯度下降下均具有相对简单的多面体，尽管这些多面体经特定设计可相当多样且复杂。该发现可视为一种广义的隐式偏置，受制于 ReLU 网络空间划分的内在几何约束。接着，我们做组合分析，以用维数界定多面体平均面数的方式，解释为何增加深度不会产生更复杂的多面体。我们的结果具体揭示了网络学习的是何种简单函数，以及网络加深时会发生什么。此外，通过刻画多面体形状，面数可成为其他问题的新杠杆，例如作为通用工具解释 ResNet 等流行捷径网络的威力，并分析不同正则化策略对网络空间划分的影响。
引用
@article{arxiv.2305.09145,
title = {Deep ReLU Networks Have Surprisingly Simple Polytopes},
author = {Feng-Lei Fan and Wei Huang and Xiangru Zhong and Lecheng Ruan and Tieyong Zeng and Huan Xiong and Fei Wang},
journal= {arXiv preprint arXiv:2305.09145},
year = {2024}
}