重尾噪声下凸复合问题的近最优鲁棒方法
机器学习
2020-06-19 v1 机器学习
摘要
本文针对形式为的凸复合问题，在关于噪声分布尾部的弱假设（即具有有界二阶矩的重尾噪声）下，通过建立子高斯置信界，提出鲁棒随机算法。可通过已有的提升策略实现该目标，即将低概率收敛结果提升为高概率结果。然而，拼凑现有求解复合问题的结果存在若干缺陷：（i）提升技术需要目标函数的强凸性；（ii）它需要单独的算法处理非光滑的；（iii）它还承受条件数额外多对数因子的代价。为解决这些问题，我们直接开发了用于最小化最优强凸复合目标的单次试验随机算法，其具有高概率收敛结果且近最优，与随机强凸优化的下界仅相差对数因子。据我们所知，这是在重尾假设下为复合问题建立近最优子高斯置信界的首次工作。
引用
@article{arxiv.2006.10095,
title = {Nearly Optimal Robust Method for Convex Compositional Problems with Heavy-Tailed Noise},
author = {Yan Yan and Xin Man and Tianbao Yang},
journal= {arXiv preprint arXiv:2006.10095},
year = {2020}
}