抽象机制预测深度神经网络的泛化能力
机器学习
2020-04-20 v2 神经元与认知
机器学习
摘要
深度神经网络（DNNs）一个长期存在的问题是理解其令人困惑的良好泛化能力。我们通过非传统的认知抽象机制角度来研究此问题，借鉴近期神经科学工作，从而得以定义DNN的认知神经激活度量（CNA），即给定输入的信息复杂度（熵）与网络更深层中较高激活值集中程度之间的相关性。CNA对泛化能力具有高度预测性，在超过100个数据集与网络架构组合的大量评估中优于基于范数和间隔的泛化度量，尤其在存在加性噪声和/或训练标签被损坏的情况下。这些有力的实证结果表明了CNA作为泛化度量的有用性，并鼓励进一步研究信息复杂度与网络更深层表示之间的联系，以更好地理解DNN的泛化能力。
引用
@article{arxiv.1905.11515,
title = {Abstraction Mechanisms Predict Generalization in Deep Neural Networks},
author = {Alex Gain and Hava Siegelmann},
journal= {arXiv preprint arXiv:1905.11515},
year = {2020}
}