可编辑图像元素用于可控合成
计算机视觉与模式识别
2024-04-25 v1
摘要
扩散模型在文本引导的合成任务中取得了显著进展。然而，编辑用户提供的图像仍然具有挑战性，因为扩散模型的高维噪声输入空间天然不适合图像反演或空间编辑。在这项工作中，我们提出了一种图像表示，利用扩散模型促进输入图像的空间编辑。具体来说，我们学习将输入编码为“图像元素”，这些元素能够忠实地重建输入图像。用户可以直观地编辑这些元素，然后由扩散模型解码为逼真的图像。我们在各种图像编辑任务上展示了该表示的有效性，例如对象缩放、重排、拖拽、去遮挡、移除、变体和图像合成。项目页面：https://jitengmu.github.io/Editable_Image_Elements/
引用
@article{arxiv.2404.16029,
title = {Editable Image Elements for Controllable Synthesis},
author = {Jiteng Mu and Michaël Gharbi and Richard Zhang and Eli Shechtman and Nuno Vasconcelos and Xiaolong Wang and Taesung Park},
journal= {arXiv preprint arXiv:2404.16029},
year = {2024}
}
备注
Project page: https://jitengmu.github.io/Editable_Image_Elements/