Dropout 训练的收敛性与泛化性研究

Poorya Mianjy; Raman Arora

Dropout 训练的收敛性与泛化性研究

机器学习 2020-10-27 v1 机器学习

作者: Poorya Mianjy , Raman Arora

摘要

我们研究了具有修正线性单元（ReLU）激活函数的两层神经网络中的 dropout。在温和的过参数化条件下，并假设极限核能以正间隔分离数据分布，我们证明了使用 logistic 损失的 dropout 训练在 $O(1/\epsilon)$ 次迭代中达到测试误差的 $\epsilon$ -次优性。

关键词

dropout 训练两层神经网络 ReLU 激活函数过参数化 logistic 损失测试误差收敛性泛化性

引用

@article{arxiv.2010.12711,
  title  = {On Convergence and Generalization of Dropout Training},
  author = {Poorya Mianjy and Raman Arora},
  journal= {arXiv preprint arXiv:2010.12711},
  year   = {2020}
}

相关论文

查看更多相关论文 →