深度神经网络中单元的角色分类法
计算机视觉与模式识别
2023-11-21 v2 机器学习
摘要
识别深度神经网络（DNNs）中单元的角色在诸多方面至关重要，包括理解 DNN 的机制以及建立深度学习与神经科学间的基本联系。然而，具有不同泛化能力的 DNN 中单元可能呈现哪些角色仍不清楚。为此，我们通过引入功能检索测试给出了 DNN 中单元的角色分类法，其中单元依据其在训练集与测试集上各自的功能偏好被划分为四类。我们从两个不同视角表明四类单元的比例与 DNN 的泛化能力高度相关，并据此给出具有良好泛化能力 DNN 的标志。
引用
@article{arxiv.2011.00789,
title = {Role Taxonomy of Units in Deep Neural Networks},
author = {Yang Zhao and Hao Zhang and Xiuyuan Hu},
journal= {arXiv preprint arXiv:2011.00789},
year = {2023}
}