基于决策边界复杂度的深度神经网络泛化能力分析
机器学习
2021-03-01 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
对于监督学习模型，泛化能力的分析至关重要，因为泛化能力表达了模型在未见数据上的表现优劣。传统的泛化方法（如 VC 维）不适用于深度神经网络（DNN）模型。因此，需要新的理论来解释 DNN 的泛化能力。在本研究中，我们假设根据简约法则（奥卡姆剃刀），具有更简单决策边界的 DNN 具有更好的泛化能力。我们创建了决策边界复杂度（DBC）分数来定义和衡量 DNN 决策边界的复杂度。DBC 分数的核心思想是在决策边界上或其附近生成数据点（称为对抗样本）。然后，我们的新方法利用这些数据的特征值熵来衡量边界的复杂度。该方法对于高维数据同样有效。我们使用训练数据和训练好的模型来计算 DBC 分数。并且，模型泛化能力的真实值是其测试准确率。基于 DBC 分数的实验验证了我们的假设。结果表明，DBC 提供了一种衡量决策边界复杂度的有效方法，并给出了 DNN 泛化能力的定量衡量标准。
引用
@article{arxiv.2009.07974,
title = {Analysis of Generalizability of Deep Neural Networks Based on the Complexity of Decision Boundary},
author = {Shuyue Guan and Murray Loew},
journal= {arXiv preprint arXiv:2009.07974},
year = {2021}
}
备注
7 pages, 11 figures. Accepted by ICMLA 2020