条件梯度滑动的回溯线搜索
最优化与控制
2020-06-11 v1
摘要
我们提出了条件梯度滑动（CGS）方法的一个改进，该方法最初在 \cite{lan2016conditional} 中发展。尽管 CGS 方法是无投影一阶方法理论中的一项理论突破，因为它是首个达到理论性能极限的方法，但在实现中它需要知道目标函数梯度的 Lipschitz 常数 以及总梯度评估次数 。这种要求在实际实现中带来了困难，不仅因为难以选择满足收敛条件的适当 和 值，也因为保守的 和 选择会恶化 CGS 方法的实际数值性能。我们提出的方法称为带线搜索的条件梯度滑动方法（CGS-ls），不需要知道 和 中的任何一个，并能在理论要求的迭代次数之前提前终止。尽管在数值实现中更为实用，我们提出的 CGS-ls 方法的理论性能仍与 CGS 方法一样好。我们给出数值实验以展示所提方法在实际中的效率。
引用
@article{arxiv.2006.05272,
title = {Backtracking linesearch for conditional gradient sliding},
author = {Hamid Nazari and Yuyuan Ouyang},
journal= {arXiv preprint arXiv:2006.05272},
year = {2020}
}