具有离散与连续权重的非凸神经网络中的典型与非典型解

我们研究二值与连续负间隔感知机作为学习随机规则与关联的简单非凸神经网络模型。我们分析了两个模型中解的景观几何，并发现了重要的相似与差异。两个模型均表现出极其平坦且宽阔的亚主导极小化子。这些极小化子与一类主导解的背景共存：在二值情形（冻结的1-RSB相）下，该背景由指数数量、算法不可及的小簇构成；在球情形（全RSB相）下，则由不同尺度的簇的层次结构构成。两种情形下，当约束密度跨越某一阈值时，宽阔平坦极小值的局部熵变为非单调，表明鲁棒解空间破裂为互不连通的组分。这对二值模型中算法的行径有强烈影响，算法无法触及剩余的孤立簇。球情形则不同：即便在宽阔平坦极小值消失之后，剩余解在任意距离上直至容量极限都始终被大量其他解所环绕。事实上，我们给出数值证据表明，算法似乎能找到解直至SAT/UNSAT相变，而该相变我们在此使用1RSB近似予以计算。对于两个模型，作为学习装置其泛化性能被证明即便在极负间隔的高度欠约束机制下训练，也因宽阔平坦极小化子的存在而大幅改善。