从博弈论交互视角解读并提升 Dropout
机器学习
2021-03-17 v4 人工智能
计算机视觉与模式识别
机器学习
摘要
本文旨在从博弈论交互的视角理解并改进 dropout 操作的效用。我们证明 dropout 能够抑制深度神经网络（DNNs）中输入变量之间交互的强度。该理论证明亦通过多种实验得到验证。此外，我们发现此类交互与深度学习中的过拟合问题密切相关。因此，dropout 的效用可视为通过减弱交互来缓解过拟合的显著性。基于这一理解，我们提出一种交互损失以进一步提升 dropout 的效用。实验结果表明，该交互损失能有效改进 dropout 的效用并提升 DNNs 的性能。
引用
@article{arxiv.2009.11729,
title = {Interpreting and Boosting Dropout from a Game-Theoretic View},
author = {Hao Zhang and Sen Li and Yinchao Ma and Mingjie Li and Yichen Xie and Quanshi Zhang},
journal= {arXiv preprint arXiv:2009.11729},
year = {2021}
}