1%>100%：高效视觉适配器 with Complex Linear Projection Optimization
计算机视觉与模式识别
2026-02-12 v1 人工智能
摘要
部署视觉基础模型通常依赖于高效的适应策略，而传统的全参数微调则因成本高昂且效率低下而难以采用。虽然Delta调谐在提升大语言模型适应性能和效率方面已证明有效，但其优势无法直接移植到视觉基础模型的微调流程中。为推动视觉任务适应效率的边界，我们提出一种包含 Complex Linear Projection Optimization (CoLin) 的适配器。对于架构，我们设计了一种新型低秩复合适配器，仅引入约1%的模型参数。就效率而言，我们理论证明低秩复合矩阵在训练期间会严重收敛，随后通过量身定制的损失函数加以解决。针对目标检测、分割、图像分类和旋转目标检测（遥感场景）等任务进行大量实验，表明CoLin在仅使用1%参数的情况下，超越了全参数微调和经典Delta调谐方法，首次为视觉基础模型的部署提供了一种新型且高效的解决方案。我们已在 https://github.com/DongshuoYin/CoLin 上发布代码。
引用
@article{arxiv.2602.10513,
title = {1%>100%: High-Efficiency Visual Adapter with Complex Linear Projection Optimization},
author = {Dongshuo Yin and Xue Yang and Deng-Ping Fan and Shi-Min Hu},
journal= {arXiv preprint arXiv:2602.10513},
year = {2026}
}