基于投影梯度的自适应矩估计优化算法
系统与控制
2025-03-14 v1 系统与控制
摘要
训练深度神经网络颇具挑战性。为加速训练并提升性能，我们提出了 PadamP，一种新型优化算法。PadamP 通过对第二阶矩的 p 次方进行自适应估计，并在尺度不变性下增强投影适应性，通过修改投影判别条件来实现。它集成到 Adam 类算法中，加速训练、提升性能并改善深度学习中的泛化能力。将投影梯度的优势与自适应矩估计相结合，PadamP 解决了无约束非凸问题。我们分析了非凸情形下的收敛性，关注一阶矩估计系数与二阶矩估计系数之间的解耦。与已有工作不同，我们的证明不依赖特定条件，对收敛定理进行推广，提高了实用性。使用 VGG-16 和 ResNet-18 在 CIFAR-10 和 CIFAR-100 上的实验表明，PadamP 在各项指标上均表现出色，尤其在 CIFAR-10/100 上的 VGG-16 效果尤为突出。结果表明，PadamP 在收敛速度和泛化能力方面均优于现有算法，为深度学习优化领域提供了有价值的新方法。
引用
@article{arxiv.2503.10004,
title = {Combining Cooperative Re-Routing with Intersection Coordination for Connected and Automated Vehicles in Urban Networks},
author = {Panagiotis Typaldos and Andreas A. Malikopoulos},
journal= {arXiv preprint arXiv:2503.10004},
year = {2025}
}