奇异值微调：少样本分割只需微调极少参数
计算机视觉与模式识别
2022-10-14 v2
摘要
冻结预训练主干网络已成为少样本分割中避免过拟合的标准范式。本文重新审视该范式并探索一种新的机制：微调主干网络中一小部分参数。我们提出一种克服过拟合问题的方案，从而在学习新类别时获得更好的模型泛化能力。我们的方法通过奇异值分解（SVD）将主干网络参数分解为三个连续矩阵，然后仅微调奇异值并保持其余部分冻结。上述设计使模型能够在新类别上调整特征表示，同时维持预训练主干网络中的语义线索。我们在多种少样本分割方法及不同主干网络上评估了所提出的奇异值微调（SVF）方法。在1-shot与5-shot设定下，我们在Pascal-5与COCO-20上均取得了最先进（state-of-the-art）结果。希望这一简单基线能促使研究者重新思考主干网络微调在少样本设定中的作用。源代码与模型将发布于 https://github.com/syp2ysy/SVF。
引用
@article{arxiv.2206.06122,
title = {Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning},
author = {Yanpeng Sun and Qiang Chen and Xiangyu He and Jian Wang and Haocheng Feng and Junyu Han and Errui Ding and Jian Cheng and Zechao Li and Jingdong Wang},
journal= {arXiv preprint arXiv:2206.06122},
year = {2022}
}
备注
Accepted to NeurIPS 2022