Zippo：将颜色与透明度分布压缩至单一扩散模型
计算机视觉与模式识别
2024-03-20 v2
摘要
除了在生成高质量图像方面的优越性外，近期研究还尝试发掘文本到图像扩散模型将已学到的语义知识适配到视觉感知任务的潜力。在本工作中，我们没有将生成式扩散模型转换为视觉感知模型，而是探索在感知适配的同时保留其生成能力。为此，我们提出了 Zippo，这是一个统一框架，通过将扩散潜变量扩展为 RGB 图像与 alpha 抠图的联合表示，将颜色与透明度分布压缩至单一扩散模型中。通过交替选择一种模态作为条件，随后对另一模态应用扩散过程，Zippo 能够从 alpha 抠图生成 RGB 图像，并从输入图像预测透明度。除了单模态预测外，我们提出了一种模态感知的噪声重分配策略，以进一步赋予 Zippo 在文本引导下联合生成 RGB 图像及其对应 alpha 抠图的能力。我们的实验展示了 Zippo 高效的文本条件透明图像生成能力，并呈现了 Matte-to-RGB 和 RGB-to-Matte 转换的合理结果。
引用
@article{arxiv.2403.11077,
title = {Zippo: Zipping Color and Transparency Distributions into a Single Diffusion Model},
author = {Kangyang Xie and Binbin Yang and Hao Chen and Meng Wang and Cheng Zou and Hui Xue and Ming Yang and Chunhua Shen},
journal= {arXiv preprint arXiv:2403.11077},
year = {2024}
}