动量自适应梯度丢弃的深度神经网络可证明泛化界限
机器学习
2025-11-04 v2 统计理论
统计理论
摘要
深度神经网络（DNN）取得显著成绩，但常因高容量导致过拟合。我们引入 Momentum-Adaptive Gradient Dropout (MAGDrop)，一种新型正则化方法，基于当前梯度和累积动量动态调整激活的丢弃率，增强非凸优化景观中的稳定性。为理论证明 MAGDrop 的有效性，我们推导可计算的非渐近 PAC-Bayes 泛化界限，考虑其自适应特性，凭借动力驱动的扰动控制实现最高达 29.2% 的界限紧缩。经验上，基于激活的 MAGDrop 在 MNIST（99.52%）和 CIFAR-10（92.03%）上取得具竞争力的性能，分别仅有 0.48% 和 6.52% 的泛化间隙。我们提供完全可复现的代码与数值计算，以验证理论主张。本工作搭建了理论洞见与实践进步之间的桥梁，为增强 DNN 泛化提供稳健框架，适用于高风险应用场景。
关键词
引用
@article{arxiv.2510.18410,
title = {Provable Generalization Bounds for Deep Neural Networks with Momentum-Adaptive Gradient Dropout},
author = {Adeel Safder},
journal= {arXiv preprint arXiv:2510.18410},
year = {2025}
}
备注
8 pages