通过新型稀疏性超越群分布鲁棒优化的最小最大率
机器学习
2025-02-03 v2 人工智能
最优化与控制
摘要
群分布鲁棒优化 (GDRO) 的最小最大样本复杂度已在 的因子内确定,其中 为组数。本文从全新稀疏性概念(称为 -稀疏性)的视角超越最小最大视角。简而言之,此条件意味着在任意参数 下,存在至多 组,其风险在 时均比其他组的风险高出至少 。我们通过 novel algorithm and analysis 显示,为找到一个 -optimal ,样本复杂度中的 -dependent 项可将对 的线性依赖换为对潜在更小的 的线性依赖。该改进利用睡眠 bandits 最新进展,揭示了 GDRO 双人零和博弈优化框架与睡眠 bandits 中 per-action 后悔界之间的根本联系。我们随后提出一个自适应算法,up to log factors 可获得自适应最佳 -稀疏性条件的样本复杂度界。我们还展示了如何获取维度无关的半自适应样本复杂度界,并提供了高效计算方法。最后,我们在合成数据和真实数据集上展示了 -稀疏性条件及其算法在提高样本效率方面的实际有效性。
关键词
引用
@article{arxiv.2410.00690,
title = {Beyond Minimax Rates in Group Distributionally Robust Optimization via a Novel Notion of Sparsity},
author = {Quan Nguyen and Nishant A. Mehta and Cristóbal Guzmán},
journal= {arXiv preprint arXiv:2410.00690},
year = {2025}
}
备注
44 pages. V2: updated a semi-adaptive approach and experimental results