通过凸对偶揭示深度神经网络的结构
机器学习
2021-06-14 v4 机器学习
摘要
我们研究正则化深度神经网络（DNNs），并引入一种凸分析框架来刻画隐藏层的结构。我们证明，范数正则化DNN训练问题的一组最优隐藏层权重可作为凸集的极值点被显式找到。对于深度线性网络的特例，我们证明每个最优权重矩阵通过对偶性与前层对齐。更重要的是，我们将相同刻画应用于具有白化数据的深度ReLU网络，并证明相同的权重对齐成立。作为推论，我们还证明范数正则化深度ReLU网络在一维数据集上产生样条插值，而这此前仅知适用于两层网络。此外，当数据为秩一或白化时，我们提供最优层权重的闭式解。相同分析也适用于带批量归一化的架构，即使对任意数据亦然。因此，我们对近期被称为神经崩塌（Neural Collapse）的经验观察获得了完整解释：类均值崩塌到单纯等角紧框架的顶点。
引用
@article{arxiv.2002.09773,
title = {Revealing the Structure of Deep Neural Networks via Convex Duality},
author = {Tolga Ergen and Mert Pilanci},
journal= {arXiv preprint arXiv:2002.09773},
year = {2021}
}
备注
Accepted to ICML 2021