EM-Paste：基于 EM 引导的剪切-粘贴与 DALL-E 增强的弱监督图像级实例分割方法
计算机视觉与模式识别
2022-12-16 v1
摘要
我们提出 EM-PASTE：一种基于期望最大化（EM）引导的剪切-粘贴组合数据增强方法，用于仅使用图像级监督的弱监督实例分割。所提方法包含三个主要组件。第一个组件生成高质量的前景目标掩码。为此，提出了一种类 EM 方法，迭代地精炼由通用区域提议方法生成的初始目标掩码提议集合。接下来，在第二个组件中，使用如 DALL-E 之类的文本到图像组合合成方法生成高质量的上下文感知背景图像。最后，第三个组件通过将前景目标掩码合成到原始及生成的背景图像上，创建大规模伪标注实例分割训练数据集。所提方法仅使用图像级弱标签信息，在 PASCAL VOC 2012 和 MS COCO 数据集上均取得了最先进的弱监督实例分割结果。具体而言，它在 PASCAL 和 COCO 上分别比最佳基线高出 +7.4 和 +2.8 mAP0.50。此外，该方法通过选择性增强代表性不足的类，为长尾弱监督实例分割问题（当许多类仅有少量训练样本时）提供了一种新解决方案。
引用
@article{arxiv.2212.07629,
title = {EM-Paste: EM-guided Cut-Paste with DALL-E Augmentation for Image-level Weakly Supervised Instance Segmentation},
author = {Yunhao Ge and Jiashu Xu and Brian Nlong Zhao and Laurent Itti and Vibhav Vineet},
journal= {arXiv preprint arXiv:2212.07629},
year = {2022}
}
备注
15 pages (including appendix), 7 figures