当卷积遇上 LoRA：面向 Segment Anything Model 的参数高效微调
计算机视觉与模式识别
2024-02-01 v1 机器学习
摘要
Segment Anything Model（SAM）是图像分割的基础框架。虽然在典型场景中它展现出卓越的零样本泛化能力，但在应用于医学影像和遥感等专业领域时，其优势会减弱。为解决这一局限，本文引入了 Conv-LoRA，一种简单而有效的参数高效微调方法。通过将超轻量级卷积参数集成到低秩适应（LoRA）中，Conv-LoRA 可以将图像相关的归纳偏置注入到普通的 ViT 编码器中，从而进一步强化 SAM 的局部先验假设。值得注意的是，Conv-LoRA 不仅保留了 SAM 广泛的分割知识，还恢复了其学习高层图像语义的能力，而这一能力受到 SAM 前景-背景分割预训练的限制。跨多个领域、涵盖多种基准的全面实验，突显了 Conv-LoRA 在将 SAM 适配到现实世界语义分割任务中的优越性。
引用
@article{arxiv.2401.17868,
title = {Convolution Meets LoRA: Parameter Efficient Finetuning for Segment Anything Model},
author = {Zihan Zhong and Zhiqiang Tang and Tong He and Haoyang Fang and Chun Yuan},
journal= {arXiv preprint arXiv:2401.17868},
year = {2024}
}
备注
Accepted at ICLR 2024 Conference