基于静止性的二阶优化方法
最优化与控制
2024-10-11 v1 系统与控制
系统与控制
摘要
二阶优化方法在收敛至临界点方面表现出快速收敛速度，但在非凸优化问题中，这些方法常需限制性的步长才能确保目标函数单调递减。当目标函数高度非线性且 Lipschitz 常数较大时，日益减小的步长将成为快速收敛的瓶颈。我们提出一种二阶优化方法，利用动态系统模型表示优化变量的轨迹作为常微分方程。随后，我们通过迫使升温最快的变量进入称为静止状态的状态，遵循准稳态轨迹。这种通过静止实现的优化允许我们自适应地选择较大的步长，依次跟随每个优化变量至准稳态，直至所有状态变量到达实际稳态，从而与最优解相吻合。结果是一种利用大步长且无需目标函数单调递减即可收敛至临界点的二阶方法。我们在电力系统中用于优化非凸问题的实验结果表明，该方法具有快速收敛性能，并与现有的基于二阶的方法进行了比较，包括阻尼牛顿拉弗森法、BFGS 和 SR1。
引用
@article{arxiv.2410.08033,
title = {Second-Order Optimization via Quiescence},
author = {Aayushya Agarwal and Larry Pileggi and Ronald Rohrer},
journal= {arXiv preprint arXiv:2410.08033},
year = {2024}
}