尖锐性、重启与加速
最优化与控制
2019-11-05 v2
摘要
Łojasiewicz不等式表明，凸优化问题最小值的尖锐性界限几乎普遍成立。正如Nemirovsky和Nesterov（1985）所观察到的，尖锐性直接控制重启方案的性能。量化这些尖锐性界限的常数当然是不可观测的，但我们证明了最优重启策略是鲁棒的，即在某些重要情况下，找到最佳重启方案只需要对数尺度的网格搜索。总体而言，重启方案普遍能加速加速的一阶方法。
引用
@article{arxiv.1702.03828,
title = {Sharpness, Restart and Acceleration},
author = {Vincent Roulet and Alexandre d'Aspremont},
journal= {arXiv preprint arXiv:1702.03828},
year = {2019}
}
备注
Short version appeared in Advances in Neural Information Processing Systems 30 (NIPS 2017)