在线学习中Dropout的分析

深度学习在视觉目标识别与语音识别等领域处于最先进水平。这种学习使用大量层以及巨量的单元与连接。因此，过拟合是一个严重问题，并被使用作为一种正则化工具的dropout。然而，在在线学习中，dropout的效果尚不明了。本文给出我们对在线学习中dropout效果的研究。我们分析了dropout在奇异点附近对收敛速度的影响。我们的结果表明dropout在在线学习中是有效的。dropout倾向于避开奇异点以在该点附近获得收敛速度。