为何平滑稳定性假设对ReLU学习失效
机器学习
2025-12-29 v1 最优化与控制
摘要
现代学习系统的稳定性分析常在平滑性假设下推导，而这些假设被ReLU型非线性所违背。本文中，我们通过证明，即使在训练轨迹经验上表现稳定的简单设置中，任何基于均匀平滑性的稳定性代理（如梯度Lipschitz性或Hessian控制）也无法对ReLU网络全局成立，从而隔离出一个最小障碍。我们给出了一个具体的反例，证明了经典稳定性界的失效，并确定了一个最小广义导数条件，在该条件下稳定性陈述可以被有意义地恢复。该结果阐明了为何ReLU的平滑近似可能具有误导性，并促使了非平滑感知的稳定性框架的发展。
引用
@article{arxiv.2512.22055,
title = {Why Smooth Stability Assumptions Fail for ReLU Learning},
author = {Ronald Katende},
journal= {arXiv preprint arXiv:2512.22055},
year = {2025}
}