通过表示去相关减少深度网络中的过拟合
机器学习
2016-06-13 v4 机器学习
摘要
训练深度神经网络的一个主要挑战是防止过拟合。人们已经提出了许多技术，如数据增强和诸如 Dropout 之类的新型正则化器，以在不需要大量训练数据的情况下防止过拟合。在本工作中，我们提出了一种名为 DeCov 的新正则化器，它可以显著减少过拟合（如训练和验证性能之间的差异所示），并提高泛化能力。我们的正则化器通过最小化隐藏激活的交叉协方差，鼓励深度神经网络中多样化或非冗余的表示。这种简单的直觉在许多过去的工作中已被探索，但令人惊讶的是，它从未被用作监督学习中的正则化器。在一系列数据集和网络架构上的实验表明，这种损失始终能减少过拟合，同时几乎总是保持或提高泛化性能，并且通常优于 Dropout。
引用
@article{arxiv.1511.06068,
title = {Reducing Overfitting in Deep Networks by Decorrelating Representations},
author = {Michael Cogswell and Faruk Ahmed and Ross Girshick and Larry Zitnick and Dhruv Batra},
journal= {arXiv preprint arXiv:1511.06068},
year = {2016}
}
备注
12 pages, 5 figures, 5 tables, Accepted to ICLR 2016, (v4 adds acknowledgements)