着眼于共同利益：群组分布鲁棒性随之而来

Vihari Piratla; Praneeth Netrapalli; Sunita Sarawagi

着眼于共同利益：群组分布鲁棒性随之而来

机器学习 2022-04-21 v2 计算机视觉与模式识别

作者: Vihari Piratla , Praneeth Netrapalli , Sunita Sarawagi

摘要

我们考虑利用带有群组标注的训练数据训练分类模型的问题。近期工作已确立，若不同群组间存在分布偏移，使用标准经验风险最小化（ERM）目标训练的模型在少数群组上表现不佳，而群组分布鲁棒优化（Group-DRO）目标是更好的替代方案。本文的起点是观察到：尽管 Group-DRO 在某些基准数据集上比 ERM 在少数群组上表现更好，但还有若干其他数据集上其表现远差于 ERM。受域泛化这一密切相关问题的启发，本文提出一种新颖且简单的算法，显式鼓励学习为各群组所共享的特征。我们所提算法背后的关键洞见是：虽然 Group-DRO 聚焦于具有最差正则化损失的群组，但若转而聚焦于那些能提升在其他群组上表现的群组，则可能促成共享/共同特征的学习，从而将少数群组性能提升至超越 Group-DRO 所达水平。在实验上，我们表明所提算法在标准基准上于少数群组和所有群组上均匹配或超越包括 ERM 与 Group-DRO 在内的强当代基线。在理论上，我们证明该算法是一种下降法，并能找到光滑非凸函数的一阶驻点。

关键词

群组标注数据经验风险最小化群组分布鲁棒优化域泛化共享特征分类非凸优化

引用

@article{arxiv.2110.02619,
  title  = {Focus on the Common Good: Group Distributional Robustness Follows},
  author = {Vihari Piratla and Praneeth Netrapalli and Sunita Sarawagi},
  journal= {arXiv preprint arXiv:2110.02619},
  year   = {2022}
}

备注

Presented at ICLR 2022; Code can be found at: https://github.com/vihari/cgd

着眼于共同利益：群组分布鲁棒性随之而来

摘要

关键词

引用

备注

相关论文