深度神经网络 Dropout 方法综述
神经与进化计算
2020-06-09 v2 人工智能
机器学习
摘要
Dropout 方法是一类用于神经网络训练或推理的随机技术，已引起显著的研究兴趣并在实践中被广泛使用。它们已成功应用于神经网络正则化、模型压缩以及测量神经网络输出的不确定性。虽然最初是针对稠密神经网络层提出的，但最近的进展使得 dropout 方法也适用于卷积和循环神经网络层。本文总结了 dropout 方法的历史、其各种应用以及当前的研究热点。对所提出的重要方法进行了更为详细的描述。
引用
@article{arxiv.1904.13310,
title = {Survey of Dropout Methods for Deep Neural Networks},
author = {Alex Labach and Hojjat Salehinejad and Shahrokh Valaee},
journal= {arXiv preprint arXiv:1904.13310},
year = {2020}
}