SoftTarget 正则化：一种减少神经网络过拟合的有效技术
机器学习
2016-12-06 v3
摘要
深度神经网络是具有极高容量的学习模型，因此容易过拟合。许多正则化技术，如 Dropout、DropConnect 和权重衰减，都试图通过降低各自模型的容量来解决过拟合问题 (Srivastava et al., 2014), (Wan et al., 2013), (Krogh & Hertz, 1992)。在本文中，我们引入了一种新的正则化形式，它以一种在不牺牲模型容量的前提下减少过拟合的方式来引导学习问题。模型在训练早期阶段所犯的错误包含了关于学习问题的信息。通过真实标签的加权平均与过去软目标的指数平均来调整当前训练轮次的标签，我们实现了一种与 Dropout 一样强大的正则化方案，而无需必然降低模型的容量，并简化了学习问题的复杂度。SoftTarget 正则化被证明是各种神经网络架构中的有效工具。
引用
@article{arxiv.1609.06693,
title = {SoftTarget Regularization: An Effective Technique to Reduce Over-Fitting in Neural Networks},
author = {Armen Aghajanyan},
journal= {arXiv preprint arXiv:1609.06693},
year = {2016}
}