Open-Vocabulary SAM：交互式分割与识别两万类物体
计算机视觉与模式识别
2024-09-17 v2
摘要
CLIP 和 Segment Anything Model（SAM）是出色的视觉基础模型（VFM）。SAM 擅长跨领域的分割任务，而 CLIP 则以其零样本识别能力而闻名。本文深入探讨了将这两个模型集成到统一框架中的方法。具体而言，我们提出了 Open-Vocabulary SAM，这是一个受 SAM 启发的模型，旨在利用两个独特的知识迁移模块：SAM2CLIP 和 CLIP2SAM，实现同时的交互式分割与识别。前者通过蒸馏和可学习的 Transformer 适配器将 SAM 的知识适配到 CLIP 中，而后者将 CLIP 的知识迁移到 SAM 中，以增强其识别能力。在多个数据集和检测器上的大量实验表明，Open-Vocabulary SAM 在分割和识别任务中均表现出有效性，显著优于简单结合 SAM 和 CLIP 的朴素基线。此外，在图像分类数据训练的辅助下，我们的方法能够分割并识别约 22,000 个类别。
引用
@article{arxiv.2401.02955,
title = {Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively},
author = {Haobo Yuan and Xiangtai Li and Chong Zhou and Yining Li and Kai Chen and Chen Change Loy},
journal= {arXiv preprint arXiv:2401.02955},
year = {2024}
}
备注
Accepted by ECCV 2024; Project page: https://www.mmlab-ntu.com/project/ovsam; Code: https://github.com/HarborYuan/ovsam