自平衡 Dropout
计算与语言
2019-08-07 v1 机器学习
摘要
Dropout 因能通过阻止单元间的共适应来减少过拟合而被视为一种有效方法。在本文中，我们从理论上证明由于输入之间的相关性，使用 dropout 后共适应问题仍然存在。基于该证明，我们进一步提出自平衡 Dropout（Self-Balanced Dropout），一种新颖的 dropout 方法，其使用可训练变量来平衡输入相关性对参数更新的影响。我们在一系列具有简单与复杂模型的任务上评估自平衡 Dropout。实验结果表明该机制能在一定程度上有效解决共适应问题，并显著提升所有任务上的性能。
引用
@article{arxiv.1908.01968,
title = {Self-Balanced Dropout},
author = {Shen Li and Chenhao Su and Renfen Hu and Zhengdong Lu},
journal= {arXiv preprint arXiv:1908.01968},
year = {2019}
}