MSLoRA：基于注意力重权的多尺度低秩适配
计算机视觉与模式识别
2025-11-18 v1 人工智能
摘要
我们提出了 MSLoRA，一种面向各种主干网络的、参数高效的适配器，通过对特征响应进行重权来代替重新调谐底层主干网络。现有的低秩适配方法大多局限于视觉Transformer（ViT），难以在不同架构之间普遍化。MSLoRA 通过将低秩线性投影与多尺度非线性变换组合，实现了CNN和ViT的统一适配，后者联合调制空间注意力和通道注意力。该两组件通过点乘和残差连接融合，形成轻量级模块，实现特征注意力的转移且保持预训练权重冻结。大量实验表明，MSLoRA 在分类、检测和分割任务上始终能提升迁移性能，仅使用约5%的主干参数。该设计还实现了稳定的优化、快速收敛和强大的跨架构泛化。通过重权而非重调，MSLoRA 提供了一个简单且通用的冻结视觉主干网络的高效适配方法。
引用
@article{arxiv.2511.12400,
title = {MSLoRA: Multi-Scale Low-Rank Adaptation via Attention Reweighting},
author = {Xu Yang and Gady Agam},
journal= {arXiv preprint arXiv:2511.12400},
year = {2025}
}