两种相互作用的动态解释了深度神经网络学习过拟合特征的起点
机器学习
2024-05-17 v1 人工智能
计算机视觉与模式识别
摘要
本文探讨了深度神经网络(DNN)学习中相互作用的动态。先前的研究发现并数学证明，给定每个输入样本，经过充分训练的DNN通常仅编码输入变量之间少数非线性关系(相互作用)中的一个。在此基础上，已推导出一系列定理，证明可将DNN的推理等同于将这些相互作用作为原始模式进行推理。本文发现，DNN在两种相位内学习相互作用：第一个相位主要惩罚中等和高阶相互作用，第二个相位主要学习逐渐增加的阶数的相互作用。可以将这种两种相位现象视为DNN学习过拟合特征的起点。这种现象在各种体系结构的DNN中广泛存在，这些网络在不同任务上进行训练。因此，发现两种相位的动态为DNN逐渐学习不同推理模式(相互作用)提供了详细的机制。特别是，我们还验证了高阶相互作用的泛化能力较低阶相互作用的论点。因此，发现的两种相位动态也解释了DNN在训练过程中泛化能力的变化。
引用
@article{arxiv.2405.10262,
title = {Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features},
author = {Junpeng Zhang and Qing Li and Liang Lin and Quanshi Zhang},
journal= {arXiv preprint arXiv:2405.10262},
year = {2024}
}