CAT-SAM：面向分割一切模型小样本适应的条件微调
计算机视觉与模式识别
2024-07-17 v3
摘要
近期的分割一切模型（SAM）在通用图像分割中展示了卓越的零样本能力和灵活的几何提示。然而，SAM在处理各种非常规图像（如航拍、医学和非RGB图像）时常常表现不佳。本文提出了CAT-SAM，这是一种条件微调网络，仅需少量目标样本即可使SAM适应各种非常规目标任务。CAT-SAM冻结整个SAM，并同时用少量可学习参数调整其掩码解码器和图像编码器。其核心设计是一个提示桥接结构，该结构能够实现以解码器为条件对重量级图像编码器和轻量级掩码解码器进行联合微调。该桥接将掩码解码器的提示令牌映射到图像编码器，促进编码器和解码器在互惠互利下的协同适应。我们为图像编码器开发了两种代表性的微调策略，从而产生了两种CAT-SAM变体：一种在输入空间中注入可学习的提示令牌，另一种插入轻量级适配器网络。在11个非常规任务上的大量实验表明，即使在极具挑战性的单样本适应设置下，两种CAT-SAM变体也能持续实现优越的目标分割性能。项目页面：https://xiaoaoran.github.io/projects/CAT-SAM
引用
@article{arxiv.2402.03631,
title = {CAT-SAM: Conditional Tuning for Few-Shot Adaptation of Segment Anything Model},
author = {Aoran Xiao and Weihao Xuan and Heli Qi and Yun Xing and Ruijie Ren and Xiaoqin Zhang and Ling Shao and Shijian Lu},
journal= {arXiv preprint arXiv:2402.03631},
year = {2024}
}
备注
ECCV 2024