神经网络记忆机制剖析
机器学习
2019-11-22 v1 机器学习
摘要
深度神经网络（DNN）可以轻松拟合训练数据的随机标注，且训练误差为零。用随机标签训练的 DNN 与用真实标签训练的 DNN 有何区别？我们的论文通过两点贡献回答了这个问题。首先，我们研究了 DNN 的记忆特性。我们的经验实验揭示了 DNN 如何优先学习简单的输入模式。在第二部分的，我们提出度量不同 DNN 所学习和记忆内容的相似性。借助所提方法，我们分析并比较了在真实标签和随机标签数据上训练的 DNN。分析表明，DNN 具有\textit{一种学习方式}和\textit{N 种记忆方式}。我们还利用梯度信息来理解分析结果。
引用
@article{arxiv.1911.09537,
title = {Neural Network Memorization Dissection},
author = {Jindong Gu and Volker Tresp},
journal= {arXiv preprint arXiv:1911.09537},
year = {2019}
}
备注
Workshop on Machine Learning with Guarantees, NeurIPS 2019