作为数据增强的 Dropout
机器学习
2016-01-11 v4 机器学习
摘要
Dropout 通常解释为对大量共享参数的模型进行 bagging。我们展示在网络中使用 dropout 也可解释为输入空间中无需领域知识的一种数据增强。我们提出一种将网络内的 dropout 噪声投影回输入空间的方法，从而生成训练数据的增强版本，并展示在增强样本上训练确定性网络能产生类似结果。最后，我们基于观察提出一种新的 dropout 噪声方案，并表明它在未显著增加计算成本的情况下改进了 dropout 结果。
引用
@article{arxiv.1506.08700,
title = {Dropout as data augmentation},
author = {Xavier Bouthillier and Kishore Konda and Pascal Vincent and Roland Memisevic},
journal= {arXiv preprint arXiv:1506.08700},
year = {2016}
}