一种用于全景分割与掩码修复的简单潜在扩散方法
计算机视觉与模式识别
2024-07-17 v2 机器学习
摘要
全景和实例分割网络通常使用专门的目标检测模块、复杂的损失函数和特定的后处理步骤来管理实例掩码的排列不变性。本研究基于Stable Diffusion，提出了一种用于全景分割的潜在扩散方法，形成了一个省去这些复杂性的简单架构。我们的训练包含两个步骤：（1）训练一个浅层自编码器，将分割掩码投影到潜在空间；（2）训练一个扩散模型，以允许在潜在空间中进行图像条件采样。这种生成式方法解锁了对掩码补全或修复的探索。在COCO和ADE20k上的实验验证产生了强大的分割结果。最后，我们通过引入可学习的任务嵌入，展示了模型对多任务处理的适应性。
引用
@article{arxiv.2401.10227,
title = {A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting},
author = {Wouter Van Gansbeke and Bert De Brabandere},
journal= {arXiv preprint arXiv:2401.10227},
year = {2024}
}
备注
Accepted at ECCV 2024, Code: https://github.com/segments-ai/latent-diffusion-segmentation