利用共享结构验证集检测深度神经网络中的学习与记忆
机器学习
2018-02-22 v1 机器学习
摘要
学习与记忆所扮演的角色是深度学习研究中的一个重要课题。近期关于该主题的工作表明，在打乱标签上训练的DNN的优化行为与用真实标签训练的DNN有质的不同。在此，我们提出一种新颖的置换方法，可区分通常训练的（即使用真实标签引导学习，而非打乱标签）深度神经网络(DNN)中的记忆与学习。对DNN是否学习和/或记忆的评估在一个单独步骤中进行，我们将用DNN学习的特征训练的浅层分类器的预测性能，与多个在相同输入上训练但使用打乱标签作为输出的同类分类器进行比较。通过在与训练集共享结构的验证集上评估这些浅层分类器，我们能够将学习与记忆区分开。将我们的置换方法应用于在图像数据上训练的多层感知机和卷积神经网络，证实了其他团队的许多发现。最重要的是，我们的示例还揭示了关于DNN在不断增加训练轮数时如何记忆的有趣动态模式，并支持了令人惊讶的结果：当以纯高斯噪声作为输入训练时，DNN仍能够学习而非仅仅记忆。
引用
@article{arxiv.1802.07714,
title = {Detecting Learning vs Memorization in Deep Neural Networks using Shared Structure Validation Sets},
author = {Elias Chaibub Neto},
journal= {arXiv preprint arXiv:1802.07714},
year = {2018}
}