技术报告：量化与分析深层神经网络的泛化能力
机器学习
2025-05-21 v2 人工智能
计算与语言
计算机视觉与模式识别
摘要
本文提出了一种新的视角用于分析深层神经网络（DNN）的泛化能力，即直接解�od和分析训练过程中编码的可泛化与不可泛化互动的动力学。具体而言，本工作基于可解释人工智能领域的最新理论成果，即详细的神经网络推理逻辑可以严格重写为少数几个AND-OR互动模式。基于此，我们提出了一种高效的方法来量化每个互动的泛化能力，并发现训练过程中互动泛化能力呈现三阶段动力学。其中，训练的早期阶段通常会消除噪声性和不可泛化的互动，并学习简单且可泛化的互动。第二阶段和第三阶段倾向于捕获越来越复杂的互动，这些互动更难以泛化。实验结果验证，非泛化互动的学习是训练损失与测试损失之间差距的直接原因。
关键词
引用
@article{arxiv.2505.06993,
title = {Technical Report: Quantifying and Analyzing the Generalization Power of a DNN},
author = {Yuxuan He and Junpeng Zhang and Lei Cheng and Hongyuan Zhang and Quanshi Zhang},
journal= {arXiv preprint arXiv:2505.06993},
year = {2025}
}