阻尼牛顿法中的损失变换不变性

牛顿法是一种强大的优化算法，因其快速的局部收敛和优雅的几何性质而备受重视。然而，其理论保证通常局限于凸问题。在这项工作中，我们探讨凸性是否真的必要。我们引入了损失变换不变性的概念，表明阻尼牛顿方法不受损失的单调变换的影响——除了步长的简单缩放。这一见解允许将困难的损失替换为更容易的变换版本，从而在保持相同迭代序列的同时实现许多非凸问题的凸化。我们的分析还解释了牛顿法中非常规步长的有效性，包括大于一的值甚至负步长。