DNN 还是 k-NN:即泛化与记忆之问

Gilad Cohen; Guillermo Sapiro; Raja Giryes

DNN 还是 k-NN:即泛化与记忆之问

机器学习 2019-02-12 v6 人工智能机器学习

作者: Gilad Cohen , Guillermo Sapiro , Raja Giryes

摘要

本文研究了深度神经网络(DNNs)所执行的分类与各种经典分类器(即 k 近邻(k-NN)、支持向量机(SVM)和逻辑回归(LR))在网络各层的决策之间的关系。该比较为我们提供了关于神经网络同时记忆训练数据和泛化到新数据的能力的新见解,其中 k-NN 作为完美记忆数据的理想估计器。我们表明,非泛化网络的记忆仅发生在最后几层。此外,与线性分类器 SVM 和 LR 相比,DNN 在训练数据和测试数据上的行为无论网络是否泛化都大致相同。另一方面,与 k-NN 的相似性仅在不发生过拟合时成立。我们的结果表明,网络在新数据上的 k-NN 行为是泛化的标志。此外,它表明传统上被认为相互矛盾的记忆与泛化是相容且互补的。

关键词

深度神经网络 k 近邻泛化记忆支持向量机逻辑回归过拟合

引用

@article{arxiv.1805.06822,
  title  = {DNN or k-NN: That is the Generalize vs. Memorize Question},
  author = {Gilad Cohen and Guillermo Sapiro and Raja Giryes},
  journal= {arXiv preprint arXiv:1805.06822},
  year   = {2019}
}

备注

Poster presented in NIPS 2018 "Integration of Deep Learning Theories" workshop

DNN 还是 k-NN:即泛化与记忆之问

摘要

关键词

引用

备注

相关论文