高级 Dropout：一种无模型的贝叶斯 Dropout 优化方法
机器学习
2021-08-11 v2 机器学习
摘要
由于数据匮乏，过拟合普遍存在于深度神经网络（DNNs）的实际应用中。我们提出高级 dropout，一种无模型方法，以缓解过拟合并提升 DNNs 的性能。高级 dropout 技术采用具有参数化先验的无模型且易实现的分布，并自适应调整 dropout 率。具体而言，分布参数通过随机梯度变分贝叶斯优化，以进行端到端训练。我们在七个计算机视觉数据集（五个小规模数据集和两个大规模数据集）上以多种基模型评估了高级 dropout 相对于九种 dropout 技术的有效性。高级 dropout 在所有数据集上均优于所有参照技术。我们进一步比较有效性比率，发现高级 dropout 在大多数情况下取得最高值。接下来，我们对 dropout 率特性进行了一组分析，包括自适应 dropout 率的收敛性、所学 dropout 掩码的分布，以及与无显式分布的 dropout 率生成的比较。此外，评估并确认了防止过拟合的能力。最后，我们将高级 dropout 的应用扩展到不确定性推断、网络剪枝、文本分类与回归。所提出的高级 dropout 也优于相应的参照方法。代码见 https://github.com/PRIS-CV/AdvancedDropout。
引用
@article{arxiv.2010.05244,
title = {Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization},
author = {Jiyang Xie and Zhanyu Ma and and Jianjun Lei and Guoqiang Zhang and Jing-Hao Xue and Zheng-Hua Tan and Jun Guo},
journal= {arXiv preprint arXiv:2010.05244},
year = {2021}
}
备注
Accepted by IEEE TPAMI, 2021