稀疏化优于低秩投影在少样本适应中的表现
计算机视觉与模式识别
2025-08-12 v2 人工智能
摘要
将视觉语言模型 (VLM) 适应到新领域并使用有限标注样本仍是一个重大挑战，由于严重的过拟合和计算限制。最新方法如低秩重参数化已有所缓解，但常在泛化性方面受限且需要 extensive 的超参数调优。本文提出一种新颖的稀疏优化 (SO) 框架。与低秩方法通常将更新限制在固定子空间不同，our SO 方法利用高稀疏性动态调整极少数参数。我们引入两个关键范式：首先，我们主张“局部稀疏全局稠密”，即在每个迭代中更新最小参数子集，同时保持整体模型的表达能力。其次，我们主张“局部随机全局重要”，即基于随机选择对梯度进行稀疏化，同时基于重要性修剪一阶矩。这一组合显著缓解了过拟合问题，确保在数据有限的情境下实现稳定适应。对 11 个多样化数据集进行大量实验表明，SO 在少样本适应方面实现了最新成果，同时降低了内存开销。
引用
@article{arxiv.2504.12436,
title = {Sparsity Outperforms Low-Rank Projections in Few-Shot Adaptation},
author = {Nairouz Mrabah and Nicolas Richet and Ismail Ben Ayed and Éric Granger},
journal= {arXiv preprint arXiv:2504.12436},
year = {2025}
}
备注
ICCV2025