有序与混沌：从 NTK 视角看 DNN 归一化、棋盘格与边界伪影
机器学习
2020-06-23 v2 机器学习
摘要
我们利用所谓的神经正切核（NTK）分析深度神经网络（DNNs）的架构特征，该核描述了无限宽度设定下 DNN 的训练与泛化。在此设定下，我们证明对于全连接 DNN，随着深度增加会出现两种机制：“有序”，其中（缩放的）NTK 收敛于常数；以及“混沌”，其中它收敛于克罗内克 delta。极端有序会减慢训练，而极端混沌会阻碍泛化。使用缩放 ReLU 作为非线性，我们最终处于有序机制。相反，层归一化将网络带入混沌机制。我们观察到在最后非线性之后施加的批量归一化（BN）有类似效应。我们在深度反卷积网络（DC-NNs）中揭示了同样的有序与混沌模式。我们的分析解释了所谓棋盘格图案与边界伪影的出现。将网络带入混沌机制可防止棋盘格图案；我们提出一种基于图的参数化以消除边界伪影；最后，我们引入一种新的依赖于层的学习率以改善 DC-NNs 的收敛。我们在 DCGANs 上展示了我们的发现：有序机制导致生成器坍缩至棋盘格模式，可通过调节非线性达到混沌机制来避免。因此，我们能够在无 BN 的情况下为 DCGANs 获得良好质量的样本。
引用
@article{arxiv.1907.05715,
title = {Order and Chaos: NTK views on DNN Normalization, Checkerboard and Boundary Artifacts},
author = {Arthur Jacot and Franck Gabriel and François Ged and Clément Hongler},
journal= {arXiv preprint arXiv:1907.05715},
year = {2020}
}