群鲁棒性体现在细节之中：重新审视虚假关联下的微调

现代机器学习模型容易过度依赖虚假关联，这常导致在少数群体上的表现不佳。本文通过对四个在视觉和语言任务上广泛使用的基准进行全面实验，识别到了微调模型在最差群体准确率方面的一些意想不到的且细致的行为。首先，我们展示，常用的类别平衡技术（小批量上采样和损失上升）会导致最差群体准确率（WGA）随训练轮数增加而下降，表现不如无类别平衡。尽管在某些情况下，删除数据以创建类别平衡的子集更有效，但我们指出这取决于群体结构并提出一种混合方法可超越两种技术。接下来，我们表明，规模化预训练模型对最差群体准确率通常有益，但仅在合适的类别平衡下才如此。最后，我们识别出微调特征中的谱不平衡可能是群体差异的潜在来源——一旦在类别上进行条件化，少数群体的协方差矩阵会比多数群体的谱范数更大。我们的结果显示，现代微调模型与群体鲁棒性之间存在更为细致的相互作用，这以前并未被充分认识。我们的代码可在 https://github.com/tmlabonte/revisiting-finetuning 获取。