利用局部约束去相关正则化 CNN
机器学习
2017-03-16 v2 神经与进化计算
摘要
正则化是深度学习的关键，因为它允许训练更复杂的模型同时保持较低水平的过拟合。然而，最普遍的正则化方法并未充分利用模型的容量，因为它们依赖于减少有效参数数量。特征去相关是利用模型全部容量的一种替代方案，但鉴于其引入的开销，过拟合减少的幅度过于狭窄。在本文中，我们表明正则化负相关的特征是实现有效去相关的一个障碍，并提出 OrthoReg，一种在局部强制特征正交性的新颖正则化技术。因此，在特征去相关中施加局部性约束消除了负相关特征权重之间的干扰，使正则化器能够达到更高的去相关界限，并更有效地减少过拟合。特别地，我们表明即使存在批量归一化和 dropout，用 OrthoReg 正则化的模型具有更高的精度界限。此外，由于我们的正则化直接作用于权重，它特别适用于全卷积神经网络，其中权重空间相对于特征图空间是恒定的。因此，我们能够减少最先进 CNN 在 CIFAR-10、CIFAR-100 和 SVHN 上的过拟合。
引用
@article{arxiv.1611.01967,
title = {Regularizing CNNs with Locally Constrained Decorrelations},
author = {Pau Rodríguez and Jordi Gonzàlez and Guillem Cucurull and Josep M. Gonfaus and Xavier Roca},
journal= {arXiv preprint arXiv:1611.01967},
year = {2017}
}
备注
Accepted at ICLR2017