随机逼近与样本平均逼近在总体Wasserstein重心问题上的比较
最优化与控制
2021-10-26 v9 机器学习
机器学习
摘要
在机器学习与优化领域，凸风险最小化问题有两类主要方法，即随机逼近（SA）与样本平均逼近（SAA）。就预言机复杂度（所需随机梯度求值次数）而言，两种方法平均上被认为等价（相差至多对数因子）。总复杂度取决于具体问题；然而，自Nemirovski等人2009年工作以来，普遍接受SA优于SAA。尽管如此，在大规模问题中SA可能内存不足，因为将所有数据存于单机并组织在线访问在不与其他机器通信时是不可能的。与SA相反，SAA允许并行/分布式计算。我们表明对于Wasserstein重心问题，这种优越性可被逆转。我们通过给出计算由最优传输距离与熵正则化最优传输距离定义的重心的SA与SAA实现的复杂度界，提供详细比较。作为副产品，我们还构造了在ℓ_2范数下由熵正则化最优传输距离定义的重心的置信区间。初步结果针对由期望给出的通用凸优化问题导出，以便除Wasserstein重心问题外还有其他应用。
引用
@article{arxiv.2001.07697,
title = {Stochastic Approximation versus Sample Average Approximation for population Wasserstein barycenters},
author = {Darina Dvinskikh},
journal= {arXiv preprint arXiv:2001.07697},
year = {2021}
}
备注
33 pages