将 dropout 学习视为集成学习的分析
机器学习
2017-06-22 v1 机器学习
摘要
深度学习在视觉对象识别和语音识别等领域是当前最先进的技术。这种学习使用了大量的层、海量的单元和连接。因此，过拟合是一个严重的问题。为避免此问题，提出了 dropout 学习。Dropout 学习在学习过程中以概率 p 忽略部分输入和隐藏单元，然后，被忽略的输入和隐藏单元与已学习的网络结合以表达最终输出。我们发现，将被忽略的隐藏单元与已学习网络结合的过程可以被视为集成学习，因此我们从这一角度分析 dropout 学习。
引用
@article{arxiv.1706.06859,
title = {Analysis of dropout learning regarded as ensemble learning},
author = {Kazuyuki Hara and Daisuke Saitoh and Hayaru Shouno},
journal= {arXiv preprint arXiv:1706.06859},
year = {2017}
}
备注
9 pages, 8 figures, submitted to Conference