Bridgeout：面向深度神经网络的随机桥接正则化
神经与进化计算
2018-04-24 v1 计算机视觉与模式识别
摘要
训练深度神经网络的一大挑战是过拟合，即相较于训练样本上的表现，在未见测试样本上表现更差。为减轻过拟合，随机正则化方法在若干图像识别任务上已展现出优于确定性权值惩罚的性能。Dropout 与 Shakeout 等随机方法在期望上分别等价于对模型参数施加岭惩罚与弹性网络惩罚。然而，权值惩罚范数的选择依赖于具体问题，且不限于 。因此，本文提出 Bridgeout 随机正则化技术，并证明它等价于对权值施加 惩罚，其中范数 可作为超参数从数据中学习。实验结果表明，在合成与真实数据集上，Bridgeout 相较于 Dropout 与 Shakeout 可得到稀疏模型权值、改善的梯度以及更优的分类性能。
引用
@article{arxiv.1804.08042,
title = {Bridgeout: stochastic bridge regularization for deep neural networks},
author = {Najeeb Khan and Jawad Shah and Ian Stavness},
journal= {arXiv preprint arXiv:1804.08042},
year = {2018}
}