Paint by Example：基于范例与扩散模型的图像编辑
计算机视觉与模式识别
2022-11-24 v1
摘要
语言引导的图像编辑近来取得巨大成功。本文首次探究范例引导的图像编辑以实现更精确的控制。我们通过利用自监督训练来解耦并重组源图像与范例，实现该目标。然而，朴素方法会导致明显的融合伪影。我们仔细分析该问题，并提出信息瓶颈与强增强，以避免直接复制粘贴范例图像的平凡解。同时，为确保编辑过程的可控性，我们为范例图像设计任意形状掩码，并利用无分类器引导来提升与范例图像的相似度。整个框架仅需扩散模型单次前向，无需任何迭代优化。我们展示该方法取得令人印象深刻的性能，并能对自然图像进行高保真可控编辑。
引用
@article{arxiv.2211.13227,
title = {Paint by Example: Exemplar-based Image Editing with Diffusion Models},
author = {Binxin Yang and Shuyang Gu and Bo Zhang and Ting Zhang and Xuejin Chen and Xiaoyan Sun and Dong Chen and Fang Wen},
journal= {arXiv preprint arXiv:2211.13227},
year = {2022}
}
备注
Code: https://github.com/Fantasy-Studio/Paint-by-Example