超水平集与指数衰减：一种实现稳定神经网络训练的协同方法
机器学习
2025-08-04 v1 人工智能
摘要
本文旨在通过开发一种动态学习率算法来增强神经网络的优化过程，该算法有效地结合了指数衰减和先进的抗过拟合策略。我们的主要贡献是建立了一个理论框架，在该框架中我们证明了，在我们的算法影响下，优化景观表现出由 Lyapunov 稳定性原理定义的独特稳定性特征。具体而言，我们证明了受我们自适应学习率影响的损失函数的超水平集始终是连通的，从而确保了训练动力学的一致性。此外，我们确立了这些超水平集的“等连通性”属性，该属性在不同训练条件和训练周期中保持均匀的稳定性。本文有助于对神经网络中动态学习率机制的理论理解，并为开发更高效、更可靠的神经优化技术铺平了道路。本研究旨在形式化并验证在神经网络训练背景下作为超水平集的损失函数的等连通性，为自适应机器学习算法的未来研究开辟新途径。我们利用先前的理论发现来提出训练机制，这些机制能够有效处理复杂的高维数据景观，特别是在需要高精度和高可靠性的应用中。
引用
@article{arxiv.2409.16769,
title = {Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training},
author = {Jatin Chaudhary and Dipak Nidhi and Jukka Heikkonen and Haari Merisaari and Rajiv Kanth},
journal= {arXiv preprint arXiv:2409.16769},
year = {2025}
}