Proxy-FDA：基于代理的特征分布对齐以实现无遗忘的视觉基础模型微调
机器学习
2025-06-02 v1 计算机视觉与模式识别
摘要
在海量数据上预训练的视觉基础模型编码了现实世界概念的丰富表示，可以通过微调适应下游任务。然而，在一个任务上微调基础模型往往会导致其他任务上的概念遗忘问题。最近的鲁棒微调方法旨在不影响微调性能的情况下缓解先验知识的遗忘。通常通过匹配原始模型和微调模型的权重或特征对来保留知识。然而，这种逐点匹配可能过于严格，缺乏对同样编码丰富知识的特征邻域结构的显式感知。我们提出了一种新颖的正则化方法 Proxy-FDA，显式地保留特征空间中的结构知识。Proxy-FDA 在预训练和微调特征空间之间执行特征分布对齐（使用最近邻图），并通过动态生成的信息代理来进一步提高对齐效果，这些代理增加了数据多样性。实验表明，Proxy-FDA 显著减少了微调过程中的概念遗忘，我们发现遗忘与分布距离度量之间存在强相关性（相比于 L2 距离）。我们进一步展示了 Proxy-FDA 在各种微调设置（端到端、少样本和持续微调）以及图像分类、图像描述和 VQA 等不同任务中的优势。
引用
@article{arxiv.2505.24088,
title = {Proxy-FDA: Proxy-based Feature Distribution Alignment for Fine-tuning Vision Foundation Models without Forgetting},
author = {Chen Huang and Skyler Seto and Hadi Pouransari and Mehrdad Farajtabar and Raviteja Vemulapalli and Fartash Faghri and Oncel Tuzel and Barry-John Theobald and Josh Susskind},
journal= {arXiv preprint arXiv:2505.24088},
year = {2025}
}
备注
ICML 2025