通过高斯邻域最小化改进长尾视觉识别的视觉提示微调
计算机视觉与模式识别
2024-10-29 v1
摘要
长尾学习近年来引起了广泛关注并取得了显著进展。然而，即使有预训练的先验知识，模型在尾部类别上仍表现出较弱的泛化性能。有前景的锐度感知最小化（SAM）可以通过在损失景观中寻找平坦极小值来有效提高模型的泛化能力，但其代价是计算时间加倍。因为 SAM 的更新规则在每一步都需要两次连续（不可并行化）的前向和反向传播。为了解决这个问题，我们提出了一种名为随机 SAM 提示微调（RSAM-PT）的新方法，以提高模型泛化能力，每一步只需一次梯度计算。具体来说，我们在每次梯度更新时，在参数的随机邻域内搜索梯度下降方向。为了放大尾部类别样本的影响并避免过拟合，我们采用延迟重加权方案来增加尾部类别样本的重要性。所提出的 RSAM-PT 可以显著提高长尾数据的分类准确率，特别是对于尾部类别。RSAM-PT 在基准数据集 CIFAR100-LT（IF 100）、iNaturalist 2018 和 Places-LT 上分别达到了 90.3%、76.5% 和 50.1% 的最先进性能。源代码暂时可在 https://github.com/Keke921/GNM-PT 获取。
引用
@article{arxiv.2410.21042,
title = {Improving Visual Prompt Tuning by Gaussian Neighborhood Minimization for Long-Tailed Visual Recognition},
author = {Mengke Li and Ye Liu and Yang Lu and Yiqun Zhang and Yiu-ming Cheung and Hui Huang},
journal= {arXiv preprint arXiv:2410.21042},
year = {2024}
}
备注
NeurIPS 2024