基于图像标签文本的迭代少样本语义分割
计算机视觉与模式识别
2023-03-13 v1
摘要
少样本语义分割旨在仅借助少量支持图像的指导，学习分割未见类别的物体。以往多数方法依赖于支持图像的像素级标签。本文关注更具挑战性的设定，即仅提供图像级标签。我们提出一个通用框架，首先借助强大的视觉-语言模型 CLIP 生成粗掩码，然后迭代且相互地精炼支持图像与查询图像的掩码预测。在 PASCAL-5i 和 COCO-20i 数据集上的大量实验表明，我们的方法不仅以显著优势超越最先进的弱监督方法，还取得了与近期监督方法相当或更优的结果。此外，我们的方法对自然场景图像与非常见类别具有优异的泛化能力。代码将发布于 https://github.com/Whileherham/IMR-HSNet。
引用
@article{arxiv.2303.05646,
title = {Iterative Few-shot Semantic Segmentation from Image Label Text},
author = {Haohan Wang and Liang Liu and Wuhao Zhang and Jiangning Zhang and Zhenye Gan and Yabiao Wang and Chengjie Wang and Haoqian Wang},
journal= {arXiv preprint arXiv:2303.05646},
year = {2023}
}
备注
ijcai 2022