利用交互概念解释深度神经网络的泛化能力
机器学习
2024-09-16 v2 人工智能
计算机视觉与模式识别
摘要
本文从交互的视角解释深度神经网络（DNN）的泛化能力。尽管对DNN所编码概念尚无统一定义，但DNN中交互的稀疏性已被证明，即DNN的输出分数可由输入变量间少量交互很好地解释。由此，在某种程度上，我们可以将此类交互视为DNN所编码的交互概念。因此，本文推导了不同复杂度概念不一致性的解析解释。这可能为利用概念的泛化能力来解释整个DNN的泛化能力提供新的思路。此外，我们发现具有更强泛化能力的DNN通常更快学习简单概念并编码更少复杂概念。我们还发现了学习复杂概念的绕行动力学，其解释了复杂概念的高学习难度与低泛化能力。代码将在论文被接收后发布。
引用
@article{arxiv.2302.13091,
title = {Explaining Generalization Power of a DNN Using Interactive Concepts},
author = {Huilin Zhou and Hao Zhang and Huiqi Deng and Dongrui Liu and Wen Shen and Shih-Han Chan and Quanshi Zhang},
journal= {arXiv preprint arXiv:2302.13091},
year = {2024}
}