UniGS：用于图像生成与分割的统一表示
计算机视觉与模式识别
2023-12-05 v1
摘要
本文介绍了一种用于图像生成和分割的扩散模型的新型统一表示。具体而言，我们使用色图来表示实体级掩码，解决了实体数量变化的问题，同时使该表示与图像 RGB 域紧密对齐。我们提出了两个新模块，包括位置感知调色板和渐进二分模块，以支持我们的掩码表示。一方面，位置感知调色板保证了颜色与实体位置的一致性。另一方面，渐进二分模块能够在未知簇数量的情况下，通过深度优先二分搜索将合成的色图高效解码为高质量的实体级掩码。为了解决缺乏大规模分割训练数据的问题，我们采用了图像修复流水线，并提高了扩散模型在多种任务中的灵活性，包括图像修复、图像合成、指代分割和实体分割。综合实验验证了我们方法的有效性，表明其分割掩码质量与 state-of-the-art 相当，且能适应多种任务。代码将发布于 \href{https://github.com/qqlu/Entity}{https://github.com/qqlu/Entity}。
引用
@article{arxiv.2312.01985,
title = {UniGS: Unified Representation for Image Generation and Segmentation},
author = {Lu Qi and Lehan Yang and Weidong Guo and Yu Xu and Bo Du and Varun Jampani and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2312.01985},
year = {2023}
}