用于改善神经网络与GAN泛化能力的稳定秩归一化
机器学习
2020-02-21 v3 机器学习
摘要
Neyshabur 等人以及 Bartlett 等人关于神经网络（NN）泛化界的新颖工作紧密依赖于两个依赖于参数的量：Lipschitz 常数上界与稳定秩（秩算子的一种更软的版本）。这引出了一个有趣的问题：控制这些量是否会改善神经网络的泛化行为。为此，我们提出了稳定秩归一化（SRN），一种新颖、最优且计算高效的权重归一化方案，它最小化线性算子的稳定秩。令人惊讶的是，我们发现尽管 SRN 是一个非凸问题，却可以证明它具有唯一最优解。此外，我们表明 SRN 允许控制数据相关的经验 Lipschitz 常数，与 Lipschitz 上界不同，它反映了模型在给定数据集上的真实行为。我们提供了详尽的分析以表明，当 SRN 应用于用于分类的神经网络线性层时，相较于标准神经网络，其在泛化间隙上提供了显著的改善——11.3%，并大幅减少了过拟合记忆。当应用于 GAN 的判别器时（称为 SRN-GAN），它在 CIFAR 10/100 和 CelebA 数据集上改善了 Inception、FID 和 Neural divergence 分数，同时学习具有低经验 Lipschitz 常数的映射。
引用
@article{arxiv.1906.04659,
title = {Stable Rank Normalization for Improved Generalization in Neural Networks and GANs},
author = {Amartya Sanyal and Philip H. S. Torr and Puneet K. Dokania},
journal= {arXiv preprint arXiv:1906.04659},
year = {2020}
}
备注
Accepted at the International Conference in Learning Representations, 2020, Addis Ababa, Ethiopia