深层神经网络学习符号互动的动力学
机器学习
2024-11-26 v2 人工智能
计算与语言
计算机视觉与模式识别
摘要
本研究证明了深层神经网络（DNN）学习互动的两阶段动力学。尽管后续解释方法的可信度长期以来备受质疑，但近年来已证明的一系列定理表明，对于给定的输入样本，一小部分输入变量之间的互动可被视为能够忠实代表 DNN 在该样本上详细推理逻辑的原始推断模式。特别是，张 et al. 发现各种 DNN 都在两种不同阶段学习不同复杂度的互动，这种两阶段动力学良好地解释了 DNN 从欠拟合过渡到过拟合的过程。因此，本研究数学上证明了互动的两阶段动力学，提供了 DNN 在训练过程中泛化能力变化的理论机制。实验表明，本理论能够很好地预测在不同 DNN 上进行各种任务训练时，互动的真实动力学。
引用
@article{arxiv.2407.19198,
title = {Towards the Dynamics of a DNN Learning Symbolic Interactions},
author = {Qihan Ren and Junpeng Zhang and Yang Xu and Yue Xin and Dongrui Liu and Quanshi Zhang},
journal= {arXiv preprint arXiv:2407.19198},
year = {2024}
}