基于随机几何探测的奇点感知优化：面向稳定非光滑优化

深度学习优化高度依赖于光滑损失景观的假设，而现代架构由于包含 ReLU 激活函数和量化算子等非光滑组件而系统性地违反了这一假设。在此类非光滑情景下，Adam 等自适应优化器会因克拉克次微分中信号冲突导致梯度颤动和剧烈振荡，从而导致收敛不佳和次优泛化。为此，我们引入了奇点感知 Adam（S-Adam），通过动态调节步长以适应局部几何不稳定性来稳定训练。我们的关键贡献是 Local Geometric Instability（LGI）度量，这一来自随机方向导数方差的克拉克次微分直径估计器，计算效率较高。S-Adam 采用 $exp(-\lambda\rho)$ 的自适应阻尼机制，在高不稳定性区域减缓更新，在光滑区域保持快速收敛。我们使用微分包含 theory 对其进行严格收敛分析，证明 S-Adam 在最优的 O(1/\sqrt(T)) 收敛速率下几乎必然收敛到 ($\delta$,$\epsilon$)-克拉克平稳点。实验评估表明，在量化感知训练（QAT）和高噪声小批量学习中，S-Adam 持续优于 AdamW 和 Prox-SGD，在 CIFAR-100 上实现最高 6% 的准确率提升，在 TinyImageNet 上实现 3% 的准确率提升，有效缓解了梯度振荡。