基于独立划分重训分类器提升分组鲁棒性
机器学习
2023-08-01 v3
摘要
通过最小化平均风险训练的深层神经网络可取得强劲的平均性能。然而,若某子群在整体数据群体中代表性不足,该子群上的性能可能退化。分组分布鲁棒优化(Sagawa et al., 2020a),简称group DRO,是学习具有强最差组性能模型的广泛使用的基线。我们注意到该方法在训练时需要每个样本的组标签,且可能过拟合小群体,需强正则化。给定训练时有限的组标签量,Just Train Twice(Liu et al., 2021),简称JTT,是一种两阶段方法:先为每个无标签样本推断伪组标签,再基于推断的组标签应用group DRO。该推断过程同样对过拟合敏感,有时涉及额外超参数。本文设计了一种基于在训练数据独立划分上重训分类器思想的简单方法。我们发现使用一种新颖的样本划分过程可在微调阶段取得鲁棒的最差组性能。在基准图像与文本分类任务上评估时,无论组标签在训练时可用还是仅在验证集中给出,我们的方法相较group DRO、JTT及其他强基线均持续表现更优。重要的是,我们的方法仅依赖单一超参数,用于调整训练特征提取器与训练分类层所用的标签比例。我们通过最差组损失的泛化界分析论证了划分方案的合理性。
引用
@article{arxiv.2204.09583,
title = {Improved Group Robustness via Classifier Retraining on Independent Splits},
author = {Thien Hang Nguyen and Hongyang R. Zhang and Huy Le Nguyen},
journal= {arXiv preprint arXiv:2204.09583},
year = {2023}
}