仅混合一次：通过组插值实现最坏组泛化
机器学习
2022-10-25 v1
摘要
深度学习理论的进展揭示了平均泛化如何依赖于数据中的表层模式。其后果是脆弱的模型，在测试时组分布偏移下表现不佳。当组标注可用时，我们可以使用鲁棒优化工具来解决该问题。然而，识别与标注耗时费力，尤其在大型数据集上。近期一系列工作利用自监督与过采样，在无组标注情况下改善少数组的泛化。我们提出使用专为最坏组泛化定制的类条件 mixup 变体来统一并推广这些方法。我们的方法 Just Mix Once (JM1) 在学习过程中对样本进行插值，以组的连续混合增强训练分布。JM1 与领域无关且计算高效，可与任意水平的组标注配合使用，并在最坏组泛化上达到或与最优方法持平。此外，我们给出了 JM1 生效原因的一个简单解释。
引用
@article{arxiv.2210.12195,
title = {Just Mix Once: Worst-group Generalization by Group Interpolation},
author = {Giorgio Giannone and Serhii Havrylov and Jordan Massiah and Emine Yilmaz and Yunlong Jiao},
journal= {arXiv preprint arXiv:2210.12195},
year = {2022}
}
备注
preprint