PaintSeg:基于绘制的无训练分割方法
计算机视觉与模式识别
2023-06-06 v3
摘要
本文介绍了PaintSeg,一种无需任何训练即可分割物体的无监督新方法。我们提出一种对抗掩码对比绘制(AMCP)过程,其在原始图像与绘制图像之间产生对比,其中绘制图像使用现成的生成模型对掩码区域进行绘制。在绘制过程中,交替进行修复(inpainting)和外推绘制(outpainting),前者掩码前景并填充背景,后者掩码背景同时恢复前景物体缺失部分。修复和外推绘制(亦称I-step和O-step)使我们的方法能够在无监督或无训练的情况下将目标分割掩码逐步推向真实值。PaintSeg可配置为与多种提示协同工作,例如粗掩码、框、涂鸦和点。实验结果表明,PaintSeg在粗掩码提示、框提示和点提示分割任务中优于现有方法,提供了一种适用于无监督分割的无训练解决方案。
引用
@article{arxiv.2305.19406,
title = {PaintSeg: Training-free Segmentation via Painting},
author = {Xiang Li and Chung-Ching Lin and Yinpeng Chen and Zicheng Liu and Jinglu Wang and Bhiksha Raj},
journal= {arXiv preprint arXiv:2305.19406},
year = {2023}
}