Segment Anything Model 的任务感知低秩适配
计算机视觉与模式识别
2024-03-19 v1
摘要
Segment Anything Model (SAM) 凭借其卓越的零样本能力，已被证明是图像分割任务（计算机视觉中的一项重要任务）的强大基础模型。然而，将其丰富的语义信息迁移到多个不同的下游任务仍有待探索。在本文中，我们提出了任务感知低秩适配方法，使 SAM 能够作为多任务学习的基础模型。具体而言，TA-LoRA 在 SAM 编码器的每一层注入一个更新参数张量，并利用低秩张量分解方法融合任务共享和任务特定信息。此外，我们为多任务学习引入了修改版 SAM (mSAM)，其中我们移除了 SAM 的提示编码器，并为每个任务使用任务特定的无掩码嵌入和掩码解码器。在基准数据集上进行的大量实验证实了 TA-LoRA 在提升 mSAM 于多个下游任务上的性能方面的有效性。
引用
@article{arxiv.2403.10971,
title = {Task-Aware Low-Rank Adaptation of Segment Anything Model},
author = {Xuehao Wang and Feiyang Ye and Yu Zhang},
journal= {arXiv preprint arXiv:2403.10971},
year = {2024}
}