中文

通过新型稀疏性超越群分布鲁棒优化的最小最大率

机器学习 2025-02-03 v2 人工智能 最优化与控制

摘要

群分布鲁棒优化 (GDRO) 的最小最大样本复杂度已在 log(K)\log(K) 的因子内确定,其中 KK 为组数。本文从全新稀疏性概念(称为 (λ,β)(\lambda, \beta)-稀疏性)的视角超越最小最大视角。简而言之,此条件意味着在任意参数 θ\theta 下,存在至多 β\beta 组,其风险在 θ\theta 时均比其他组的风险高出至少 λ\lambda。我们通过 novel algorithm and analysis 显示,为找到一个 ϵ\epsilon-optimal θ\theta,样本复杂度中的 ϵ\epsilon-dependent 项可将对 KK 的线性依赖换为对潜在更小的 β\beta 的线性依赖。该改进利用睡眠 bandits 最新进展,揭示了 GDRO 双人零和博弈优化框架与睡眠 bandits 中 per-action 后悔界之间的根本联系。我们随后提出一个自适应算法,up to log factors 可获得自适应最佳 (λ,β)(\lambda, \beta)-稀疏性条件的样本复杂度界。我们还展示了如何获取维度无关的半自适应样本复杂度界,并提供了高效计算方法。最后,我们在合成数据和真实数据集上展示了 (λ,β)(\lambda, \beta)-稀疏性条件及其算法在提高样本效率方面的实际有效性。

关键词

引用

@article{arxiv.2410.00690,
  title  = {Beyond Minimax Rates in Group Distributionally Robust Optimization via a Novel Notion of Sparsity},
  author = {Quan Nguyen and Nishant A. Mehta and Cristóbal Guzmán},
  journal= {arXiv preprint arXiv:2410.00690},
  year   = {2025}
}

备注

44 pages. V2: updated a semi-adaptive approach and experimental results