面向群体鲁棒性的末层重训练：以更少标注为代价
机器学习
2023-11-16 v3
摘要
神经网络的经验风险最小化(ERM)易于过度依赖虚假关联，并在少数群体上泛化不佳。近期的深度特征重加权(DFR)技术通过简单的末层重训练实现了最优的群体鲁棒性，但其需要留出群体与类别标注以构建群体平衡的重加权数据集。本工作中，我们审视这一不切实际的要求，发现末层重训练在无需群体标注（仅用于模型选择）且只需少量类别标注时仍可出奇地有效。我们首先表明，即使重加权数据集仅含很小比例的 worst-group 数据，末层重训练仍可大幅提升最差群体准确率。这意味着一种“免费午餐”：留出部分训练数据重训练末层，可在无额外数据或标注的情况下大幅优于在整个数据集上的ERM。为进一步提升群体鲁棒性，我们引入一种轻量方法，称为选择性末层微调(SELF)，其利用误分类或不一致来构建重加权数据集。我们的经验与理论结果首次证明模型不一致会上采样 worst-group 数据，使SELF在视觉与语言任务的四个成熟基准上，以无群体标注且少于3%的留出类别标注，近乎匹配DFR。我们的代码见 https://github.com/tmlabonte/last-layer-retraining。
引用
@article{arxiv.2309.08534,
title = {Towards Last-layer Retraining for Group Robustness with Fewer Annotations},
author = {Tyler LaBonte and Vidya Muthukumar and Abhishek Kumar},
journal= {arXiv preprint arXiv:2309.08534},
year = {2023}
}
备注
NeurIPS 2023