超越凸性——收缩性与梯度下降的全局收敛

本文通过非线性收缩理论的视角考察基于连续时间梯度的优化算法。它表明，在时不变目标的情况下，大多数基于凸性的梯度下降基本结论可以被基于收缩性的更一般性结论所取代。特别地，如果梯度下降的动力学在任何度量下都是收缩的，则其收敛到唯一平衡点，而代价的凸性对应于恒等度量下收缩的特殊情形。更广泛地，收缩分析为测地凸优化提供了新见解，其中欧氏空间中的非凸问题可转化为定义在黎曼流形上的凸问题。在此情形下，如果自然梯度下降在任何度量下是收缩的，则其收敛到唯一平衡点，而代价的测地凸性对应于自然度量下的收缩。利用半收缩得到的新结果，在存在多个最优解时，对最优解集的拓扑结构提供了额外见解。此外，它们展示了如何将半收缩与特定附加信息结合，以对动力系统得出广泛结论。收缩视角也易于推广到时变优化设定，并允许人们用更简单的元素递归地构建大型优化结构。对自然原始对偶优化和博弈论情境的推广进一步说明了这些新视角的潜在适用范围。