通过方差缩减实现零样本模型的鲁棒微调
计算机视觉与模式识别
2024-11-12 v1
摘要
当微调零样本模型如 CLIP 时，我们期望微调后的模型在分布内（ID）和分布外（OOD）两方面均表现出色。最近，基于集成的方法（ESM）已被证明能显著提高鲁棒性，同时保持高 ID 准确率。然而，我们的研究发现 ESM 并不能解决 ID-OOD 权衡：它们在不同的混合系数下分别达到 ID 和 OOD 准确率的峰值。当针对 OOD 准确率进行优化时，集成模型在 ID 准确率上表现出明显下降，反之亦然。相比之下，我们提出了一种逐样本集成技术，可以同时获得最佳的 ID 和 OOD 准确率，而无需权衡。具体而言，我们构建了一个零样本失败（ZSF）集合，包含被零样本模型错误预测的训练样本。对于每个测试样本，我们计算其到 ZSF 集合的距离，并在距离较小时为集成中的微调模型赋予更高的权重。我们将我们的方法称为方差缩减微调（VRF），因为它有效地降低了集成预测中的方差，从而减少了残差误差。在 ImageNet 和五个派生分布偏移上，我们的 VRF 在保持或提高 ID 准确率的同时，将 OOD 准确率相比集成基线进一步提高了 1.5–2.0 个百分点。VRF 在其他分布偏移基准上也取得了类似的大幅鲁棒性提升（0.9–3.1 个百分点）。代码可在 https://github.com/BeierZhu/VRF 获取。
引用
@article{arxiv.2411.06966,
title = {Robust Fine-tuning of Zero-shot Models via Variance Reduction},
author = {Beier Zhu and Jiequan Cui and Hanwang Zhang},
journal= {arXiv preprint arXiv:2411.06966},
year = {2024}
}
备注
Accepted to NeurIPS 2024