面向基础模型群体鲁棒性的对比适配器

尽管大型预训练基础模型（FMs）在数据集级分布偏移下展现出显著的零样本分类鲁棒性，但它们对子群体或组偏移的鲁棒性相对未被充分探索。我们研究这一问题，发现诸如 CLIP 之类的 FMs 可能对各种组偏移并不鲁棒。在 9 个鲁棒性基准上，使用其嵌入的零样本分类在平均准确率与最差组准确率之间产生了高达 80.7 个百分点（pp）的差距。遗憾的是，现有的提升鲁棒性的方法需要重新训练，这对于大型基础模型而言可能成本高昂得令人望而却步。我们还发现，提升模型推理效率的方法（例如通过适配器，即以 FM 嵌入为输入的轻量级网络）并不能一致地改善组鲁棒性，且相较于零样本有时甚至会损害鲁棒性（例如在 CelebA 上将准确率差距扩大了 50.1 pp）。因此我们开发了一种适配器训练策略，以有效且高效地提升 FM 的组鲁棒性。我们的核心观察是：尽管较差的鲁棒性源于同一类别中的组在基础模型“嵌入空间”中被嵌入得彼此相距甚远，标准的适配器训练可能无法将这些点拉得更近。我们由此提出对比适配（contrastive adapting），其通过对比学习训练适配器，使样本嵌入接近其真实类别嵌入以及同一类别中的其他样本嵌入。在 9 个基准上，我们的方法一致地改善了组鲁棒性，将最差组准确率较零样本提升了 8.5 至 56.0 pp。我们的方法同样高效，在无需任何 FM 微调且仅使用一组固定的冻结 FM 嵌入的情况下实现上述效果。在诸如 Waterbirds 和 CelebA 等基准上，这带来了可与重新训练整个模型的 SOTA 方法相媲美的最差组准确率，而仅训练了 $\leq$1% 的模型参数。