球负感知机解空间的星形结构

对神经网络景观的实证研究表明，低能量构型常出现在复杂的连通结构中，可构造远距离解之间的零能量路径。本文考虑球负感知机，这是一个被框定为连续约束满足问题的典型非凸神经网络模型。我们引入一种通用解析方法，用于计算以平衡态采样的顶点构型构成的单纯形中的能量势垒。我们发现，在过参数化 regime 下，解流形呈现简单连通性质。存在一个大的测地凸分量，对广泛的优化动力学具有吸引力。在该区域内部，我们识别出一组非典型的高间隔解，它们与大多数其他解测地相连，从而产生星形几何。我们解析刻画了连通解空间的组织结构，并给出了在更大约束密度下上述简单测地连通性发生破裂的相变数值证据。