深度学习中神经网络稳定性研究
机器学习
2025-10-30 v1
摘要
深度学习在广泛的任务中取得了显著的成功，但其模型常常存在不稳定性和脆弱性：对输入的微小变化可能显著影响预测，而优化过程又可能因损失函数陡峭而受到阻碍。本论文通过敏感性分析的统一视角来解决这些问题，该方法检查神经网络在输入和参数水平上对扰动的响应。我们研究了作为约束输入扰动敏感性的Lipschitz 神经网络，从而提高泛化能力、对抗鲁棒性和训练稳定性。为补充这一架构方法，我们引入基于损失函数曲率的正则化技术，以促进更平滑的优化景观并减少对参数变化的敏感性。还探索了随机平滑作为在决策边界处增强鲁棒性的概率方法。通过将这些视角组合起来，我们发展了一个统一框架，其中Lipschitz 连续性、随机平滑和曲率正则化相互作用，以解决稳定性中的根本性挑战。论文贡献包括理论分析和实用方法，其中包括高效的谱范数计算、新的Lipschitz 约束层以及改进的认证程序。
引用
@article{arxiv.2510.25282,
title = {On the Stability of Neural Networks in Deep Learning},
author = {Blaise Delattre},
journal= {arXiv preprint arXiv:2510.25282},
year = {2025}
}