深度神经网络中的记忆化：损失函数是否有影响？
机器学习
2021-07-23 v2 计算机视觉与模式识别
机器学习
摘要
深度神经网络常因过参数化而被证明能够精确记忆甚至随机标记的数据。实证研究也表明，标准正则化技术均不能缓解此种过拟合。我们研究损失函数的选择是否会影响这种记忆化。我们通过基准数据集 MNIST 和 CIFAR-10 实证表明，与交叉熵或平方误差损失相比，对称损失函数使网络抵抗此种过拟合的能力显著提升。随后我们给出对记忆化鲁棒性的形式化定义，并从理论上解释对称损失为何提供此种鲁棒性。我们的结果清晰揭示了损失函数单独在此记忆化现象中所起的作用。
引用
@article{arxiv.2107.09957,
title = {Memorization in Deep Neural Networks: Does the Loss Function matter?},
author = {Deep Patel and P. S. Sastry},
journal= {arXiv preprint arXiv:2107.09957},
year = {2021}
}
备注
Accepted at PAKDD 2021. 12 pages and 5 figures