通过滤波器子空间进行大卷积模型微调
计算机视觉与模式识别
2025-02-27 v3 机器学习
摘要
高效的微调方法对于解决将大型预训练模型适配到下游任务时的高计算和参数复杂性至关重要。我们的研究受先前研究的启发，该研究将每个卷积滤波器表示为一小组滤波器子空间元素（称为滤波器原子）的线性组合。在本文中，我们提出仅通过调整负责纯空间卷积的滤波器原子来微调预训练模型，同时在原子系数中保留空间不变的通道组合知识。通过这种方式，我们为模型微调带来了一种新的滤波器子空间视角。此外，每个滤波器原子可以递归地分解为另一组原子的组合，这自然地扩展了滤波器子空间中可调参数的数量。通过仅适配由少量参数构建的滤波器原子，同时保持模型的其余参数不变，所提出的方法具有极高的参数效率。它有效地保留了预训练模型的能力，并防止了对下游任务的过拟合。大量实验表明，这种简单的方案在判别任务和生成任务上均超越了之前的微调基线。
引用
@article{arxiv.2403.00269,
title = {Large Convolutional Model Tuning via Filter Subspace},
author = {Wei Chen and Zichen Miao and Qiang Qiu},
journal= {arXiv preprint arXiv:2403.00269},
year = {2025}
}