扰动邻近预条件SPIDER算法：非渐近收敛界
信号处理
2021-05-26 v1
摘要
本文引入一种名为扰动邻近预条件SPIDER（3P-SPIDER）的新算法。它是一种随机方差缩减的邻近梯度型算法，构建于随机路径积分微分估计器（SPIDER）之上，该算法已知对非凸非光滑优化可达到近最优一阶预言机不等式。与原始邻近SPIDER相比，3P-SPIDER使用预条件梯度估计器。预条件可“显式”应用于梯度估计器，亦可如EM算法应用中那样“隐式”引入。3P-SPIDER还假设预条件梯度可能无闭式解析解，因此必须被近似，这增加了额外的扰动维度。研究期望收敛性，我们证明即便梯度由蒙特卡洛方法估计，3P-SPIDER仍达到近最优预言机不等式 O(n^(1/2) /epsilon)，其中 n 为观测数、epsilon 为目标精度。我们在惩罚经验损失最小化应用上对该算法作了说明。
引用
@article{arxiv.2105.11733,
title = {The perturbed prox-preconditioned spider algorithm: non-asymptotic convergence bounds},
author = {Gersende Fort and E Moulines},
journal= {arXiv preprint arXiv:2105.11733},
year = {2021}
}