WeakSAM：Segment Anything 遇见弱监督实例级识别
计算机视觉与模式识别
2024-08-20 v2 人工智能
摘要
使用不精确监督的弱监督视觉识别是一个关键但具有挑战性的学习问题。它显著降低了人工标注成本，传统上依赖于多实例学习和伪标签。本文介绍了 WeakSAM，并通过利用视觉基础模型（即 Segment Anything Model, SAM）中预学习的世界知识，解决了弱监督目标检测（WSOD）和分割问题。WeakSAM 通过自适应伪真值（PGT）生成和感兴趣区域（RoI）丢弃正则化，解决了传统 WSOD 重训练中的两个关键限制，即伪真值（PGT）不完整和 PGT 实例噪声问题。它还解决了 SAM 在自动目标检测和分割中需要提示且缺乏类别感知的问题。我们的结果表明，WeakSAM 在 WSOD 和 WSIS 基准测试中大幅超越了之前的最先进方法，平均提升分别为 7.4% 和 8.5%。代码地址：\url{https://github.com/hustvl/WeakSAM}。
引用
@article{arxiv.2402.14812,
title = {WeakSAM: Segment Anything Meets Weakly-supervised Instance-level Recognition},
author = {Lianghui Zhu and Junwei Zhou and Yan Liu and Xin Hao and Wenyu Liu and Xinggang Wang},
journal= {arXiv preprint arXiv:2402.14812},
year = {2024}
}
备注
Accepted by ACM MM 2024. Code is available at https://github.com/hustvl/WeakSAM