神经网络中知识的逐层变化
机器学习
2024-09-16 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
本文旨在解释深度神经网络如何在前向传播过程中通过各层逐步提取新知识并遗忘噪声特征。到目前为止，尽管对 DNN 编码的知识的定义尚未达成共识，但先前的研究已推导出一系列数学证据，将交互视为 DNN 编码的符号化原始推理模式。我们扩展了交互的定义，并首次提取了中间层编码的交互。我们量化并跟踪了前向传播过程中每一层新出现的交互和被遗忘的交互，这为 DNN 的学习行为提供了新的见解。交互的逐层变化也揭示了 DNN 的泛化能力和特征表示不稳定性的变化。
引用
@article{arxiv.2409.08712,
title = {Layerwise Change of Knowledge in Neural Networks},
author = {Xu Cheng and Lei Cheng and Zhaoran Peng and Yang Xu and Tian Han and Quanshi Zhang},
journal= {arXiv preprint arXiv:2409.08712},
year = {2024}
}