理解 Dropout：利用辅助独立随机神经元训练多层感知机
神经与进化计算
2013-08-20 v4 机器学习
机器学习
摘要
本文提出了一种向多层感知机添加辅助随机神经元的简单通用方法。研究表明，所提方法是对近期成功的 Dropout 方法（Hinton 等人，2012）、显式噪声注入（Vincent 等人，2010；Bishop，1995）和语义哈希（Salakhutdinov & Hinton，2009）的推广。在所提出的框架下，发现了一种 Dropout 的扩展形式，允许对不同的隐藏神经元或层使用独立的丢弃概率。本文对分别针对不同隐藏层使用不同丢弃概率的情况进行了实证研究。
引用
@article{arxiv.1306.2801,
title = {Understanding Dropout: Training Multi-Layer Perceptrons with Auxiliary Independent Stochastic Neurons},
author = {Kyunghyun Cho},
journal= {arXiv preprint arXiv:1306.2801},
year = {2013}
}
备注
ICONIP 2013: Special Session in Deep Learning (v4)