关于蒙特卡洛 dropout 在含噪标签训练下的鲁棒性
机器学习
2021-03-23 v1 计算机视觉与模式识别
摘要
深度学习的记忆效应在学习含噪标签时会阻碍其在测试集上的有效泛化性能。先前的研究发现,与无不确定性估计的神经网络相比,认知不确定性技术在含噪标签训练下具有鲁棒性。它们在含噪标签的对抗设定下获得了延长的记忆效应与更好的泛化性能。由于在所选认知不确定性方法中其在含噪标签下表现最优,我们聚焦于蒙特卡洛 dropout (MCDropout) 并探究其为何在含噪标签训练时具有鲁棒性。通过在数据集 MNIST、CIFAR-10、Animal-10n 上的实证研究,我们深入考察了含噪标签设定下 MCDropout 的三个方面:1. 有效性:理解当训练集包含人工生成或自然嵌入的标签噪声时 MCDropout 的学习行为与测试精度;2. 表示波动性:通过考察各神经元激活的均值与标准差来研究神经元的响应性;3. 网络稀疏性:将 MCDropout 的网络支撑与确定性神经网络进行比较。我们的发现表明,MCDropout 进一步稀疏化并正则化了确定性神经网络,从而针对含噪标签提供了更高的鲁棒性。
引用
@article{arxiv.2103.12002,
title = {On the Robustness of Monte Carlo Dropout Trained with Noisy Labels},
author = {Purvi Goel and Li Chen},
journal= {arXiv preprint arXiv:2103.12002},
year = {2021}
}