ReLU神经网络中通过误分类的正则化
机器学习
2021-11-04 v1 神经与进化计算
摘要
我们研究了由SGD变体训练的ReLU神经网络的隐式偏置，该变体在每个步骤中以概率p将标签更改为随机标签（标签平滑是该过程的近似变体）。我们的实验表明，标签噪声促使网络在以下意义上得到稀疏解：对于典型输入，只有一小部分神经元被激活，且隐藏层的放电模式更稀疏。事实上，对于某些实例，适量的标签噪声不仅使网络稀疏化，还进一步降低了测试误差。然后我们转向这种稀疏化机制的理论分析，重点关注极端情况p=1。我们表明，在这种情况下，网络如实验预期般萎缩，但令人惊讶的是，其方式取决于学习率和偏置的存在，表现为权重消失或神经元停止放电。
引用
@article{arxiv.2111.02154,
title = {Regularization by Misclassification in ReLU Neural Networks},
author = {Elisabetta Cornacchia and Jan Hązła and Ido Nachum and Amir Yehudayoff},
journal= {arXiv preprint arXiv:2111.02154},
year = {2021}
}