用于风险感知学习的零阶随机复合算法

我们提出 $\textit{Free-MESSAGE}^{p}$，这是首个用于（弱）凸基于均值半偏差的风险感知学习的零阶算法，也是迄今为止首个三级零阶复合随机优化算法。利用 Nesterov 关于高斯平滑的经典结果的一个非平凡推广，我们从第一性原理出发发展了 $\textit{Free-MESSAGE}^{p}$ 算法，并表明它本质上求解了原问题的一个平滑代理问题，前者在一种有用且方便的意义上是后者的均匀近似。我们随后给出对 $\textit{Free-MESSAGE}^{p}$ 算法的完整分析，确立了对于凸代价在原问题最优解的用户可调邻域内的收敛，以及对于凸、弱凸和强凸代价的显式收敛速率，且以统一的方式。在阶的意义上，对于固定问题参数，我们的结果显示与现有的一阶方法相比在收敛速度上无牺牲，同时在问题的条件、其维度以及所获结果的精度之间达成某种平衡，自然推广了零阶风险中性学习中的先前结果。