Project-Probe-Aggregate：面向组鲁棒性的高效微调方法
计算机视觉与模式识别
2025-08-27 v3
摘要
尽管图像-文本基础模型已在多样化的下游任务中取得成功，但它们在输入与标签之间存在虚假相关时仍面临挑战。为了解决这一问题，我们提出了一种简单的三步方法——Project-Probe-Aggregate（PPA），能够在不依赖组标注的情况下实现基础模型的参数高效微调。基于基于失败的去偏方案，我们的方法PPA改进了其两个关键组件：少数样本识别与鲁棒训练算法。具体而言，我们首先通过将图像特征投影到文本编码器的类别代理零空间上来训练有偏分类器。接下来，我们利用有偏分类器推断组标签，并通过先验校正来探测组目标。最后，我们将每个类别的组权重进行聚合以生成去偏分类器。我们的理论分析表明，PPA增强了少数组识别能力，并且在最小化平衡组误差方面是贝叶斯最优的，从而缓解了虚假相关。大量实验结果证实了PPA的有效性：它在所需可调参数不到0.01%且无需训练组标签的条件下，以平均最差组准确率超越了现有最先进方法。
引用
@article{arxiv.2503.09487,
title = {Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness},
author = {Beier Zhu and Jiequan Cui and Hanwang Zhang and Chi Zhang},
journal= {arXiv preprint arXiv:2503.09487},
year = {2025}
}
备注
Accepted by CVPR 2025