深度神经网络中稀疏概念涌现的定义与量化
机器学习
2023-04-04 v6 人工智能
计算机视觉与模式识别
摘要
本文旨在阐明训练好的深度神经网络(DNN)中的概念涌现现象。具体而言，我们发现 DNN 的推理分数可解耦为少数交互概念的作用。这些概念可理解为稀疏符号因果图中的因果模式，用以解释该 DNN。使用此类因果图解释 DNN 的忠实性在理论上有保证，因为我们证明了该因果图能在指数级数量的不同掩码样本上很好地模仿 DNN 的输出。此外，此类因果图可进一步简化并重写为与或图(And-Or graph, AOG)，且不损失过多解释精度。
引用
@article{arxiv.2111.06206,
title = {Defining and Quantifying the Emergence of Sparse Concepts in DNNs},
author = {Jie Ren and Mingjie Li and Qirui Chen and Huiqi Deng and Quanshi Zhang},
journal= {arXiv preprint arXiv:2111.06206},
year = {2023}
}