小维凸随机优化的 Vaidya 方法
最优化与控制
2022-01-27 v1
摘要
本文考虑相对低维空间（例如 100 个变量）中凸随机优化的一般问题。已知对于小维确定性凸优化问题，最快收敛由重心类方法（如 Vaidya 割平面法）实现。对于随机优化问题，能否使用 Vaidya 方法归结为其在次梯度上不精确性如何累积的问题。作者近期的结果表明，误差在 Vaidya 方法的迭代中不会累积，这使其随机优化问题的类比方法得以提出。主要技术是将 Vaidya 方法中的次梯度替换为其概率对应物（随机次梯度的算术平均）。本文实施了上述方案，最终得到一种在相对低维空间中求解凸随机优化问题的有效方法（若批量处理的并行计算可行）。
引用
@article{arxiv.2201.10626,
title = {Vaidya's method for convex stochastic optimization in small dimension},
author = {Egor Gladin and Alexander Gasnikov and Elena Ermakova},
journal= {arXiv preprint arXiv:2201.10626},
year = {2022}
}
备注
9 pages, in Russian