复杂度与样本量无关的随机约束DRO

Qi Qi; Jiameng Lyu; Kung sik Chan; Er Wei Bai; Tianbao Yang

复杂度与样本量无关的随机约束DRO

机器学习 2023-08-17 v2 人工智能最优化与控制

作者: Qi Qi , Jiameng Lyu , Kung sik Chan , Er Wei Bai , Tianbao Yang

摘要

分布鲁棒优化（DRO）作为一种训练模型以抵御训练集与测试集间分布偏移的流行方法，近年来受到极大关注。本文提出并分析了适用于非凸与凸损失的随机算法，用于求解Kullback Leibler散度约束的DRO问题。与现有求解该问题的方法相比，我们的随机算法不仅享有与样本量无关的竞争性或更优复杂度，且每次迭代仅需常数批量大小，更利于广泛应用。我们建立了求解非凸损失 $\epsilon$ 平稳解近乎最优的复杂度界，以及求解凸损失 $\epsilon$ 最优解的最优复杂度界。实证研究证明了所提算法在求解非凸与凸约束DRO问题上的有效性。

关键词

分布鲁棒优化随机算法 KL散度非凸损失凸损失与样本量无关的复杂度

引用

@article{arxiv.2210.05740,
  title  = {Stochastic Constrained DRO with a Complexity Independent of Sample Size},
  author = {Qi Qi and Jiameng Lyu and Kung sik Chan and Er Wei Bai and Tianbao Yang},
  journal= {arXiv preprint arXiv:2210.05740},
  year   = {2023}
}

备注

37 pages, 16 figures

复杂度与样本量无关的随机约束DRO

摘要

关键词

引用

备注

相关论文