暗影中行进：约束最小化下降方向的新视角
最优化与控制
2023-08-31 v4 机器学习
摘要
Frank-Wolfe 顶点方向的移动、远离步、面内远离步以及成对方向等下降方向，一直是条件梯度下降（CGD）变体中的重要设计考量。本文试图揭示沿这些方向运动对达到约束极小点的作用。最优的局部下降方向是负梯度投影的方向导数（即暗影）。我们证明该方向是最佳的可能远离步，且沿暗影运动的连续时间动力学等价于投影梯度下降（PGD）的动力学，尽管其离散化并非平凡。我们还表明，Frank-Wolfe（FW）顶点对应于沿负梯度方向以“无限”步长投影到多面体上，从而对这些步长给出了新的视角。我们将这些见解结合进一种新颖的 Shadow-CG 方法，该方法使用 FW 与暗影步，同时享有线性收敛性，其速率取决于其投影曲线中的断点数，而非棱锥宽度。我们对简单多面体的断点数给出了线性界，并基于面数给出了一般多面体的尺度不变上界。我们通过多种应用的计算实例展示了使用 Shadow-CG 的益处，同时提出了一个关于收紧一般多面体断点数上界的开放问题。
引用
@article{arxiv.2006.08426,
title = {Walking in the Shadow: A New Perspective on Descent Directions for Constrained Minimization},
author = {Hassan Mortagy and Swati Gupta and Sebastian Pokutta},
journal= {arXiv preprint arXiv:2006.08426},
year = {2023}
}