结构化Dropout的正则化性质研究
机器学习
2020-06-23 v2 机器学习
摘要
Dropout及其扩展（如DropBlock和DropConnect）是训练神经网络的常用启发式方法，已被证明能在实践中改善泛化性能。然而，对其优化和正则化性质的理论理解仍然难以捉摸。近期工作表明，在单隐藏层线性网络的情况下，Dropout是一种用于最小化正则化损失的随机梯度下降方法，且该正则化子诱导出低秩且平衡的解。在本工作中，我们证明对于单隐藏层线性网络，DropBlock诱导谱k-支撑范数正则化，并促进低秩且因子具有相等范数的解。我们还证明DropBlock的全局极小化器可闭式计算，且DropConnect等价于Dropout。然后我们证明其中部分结果可推广到一类通用的Dropout策略，并在某些假设下推广到将Dropout应用于最后一层时的深度非线性网络。我们使用常用网络架构通过实验验证了我们的理论断言和假设。
引用
@article{arxiv.1910.14186,
title = {On the Regularization Properties of Structured Dropout},
author = {Ambar Pal and Connor Lane and René Vidal and Benjamin D. Haeffele},
journal= {arXiv preprint arXiv:1910.14186},
year = {2020}
}
备注
Accepted at Computer Vision and Pattern Recognition (CVPR) 2020