理解非光滑优化中的平稳性概念

信号处理与机器学习中的许多当代应用会产生结构化的非凸非光滑优化问题，这类问题常可由简单的迭代方法相当有效地处理。理解这一现象的关键之一——事实上也是即便对专家而言也极为困难的难题之一——在于对所讨论问题的“平稳点”的研究。与平稳点定义相当标准的光滑优化不同，非光滑优化中存在着无数种平稳性的定义。在本文中，我们介绍几类重要非凸非光滑函数的不同平稳性概念，讨论其几何解释并进一步厘清这些不同概念之间的关系。随后，我们在一些代表性应用中展示这些构造的相关性，以及它们如何影响处理这些应用的迭代方法的性能。