基于参考的绘画式修复：跨越异质参考域鸿沟的扩散方法
计算机视觉与模式识别
2023-07-21 v1
摘要
你是否想象过把新物体放进画作中会是什么样子？例如，如果把一个篮球放进克劳德·莫奈的《睡莲，傍晚效果》中会怎样？我们提出基于参考的绘画式修复（Reference-based Painterly Inpainting），这是一项跨越异质参考域鸿沟并将新物体植入艺术品的新任务。尽管已有工作研究了基于参考的修复，但它们并非为目标和参考之间巨大域差异（例如使用真实感参考修复艺术图像）而设计。本文提出一种称为RefPaint的新型扩散框架，通过接受具有大域差距的此类参考来“更狂野地修复”。基于图像条件扩散模型构建，我们引入了阶梯侧分支和掩码融合机制以配合修复掩码。通过在推理时分解CLIP图像嵌入，可轻松调控语义和风格信息的强度。实验表明，我们提出的RefPaint框架产生的结果显著优于现有方法。我们的方法实现了以参考物体进行创造性的绘画式图像修复，否则难以实现。项目页面：https://vita-group.github.io/RefPaint/
引用
@article{arxiv.2307.10584,
title = {Reference-based Painterly Inpainting via Diffusion: Crossing the Wild Reference Domain Gap},
author = {Dejia Xu and Xingqian Xu and Wenyan Cong and Humphrey Shi and Zhangyang Wang},
journal= {arXiv preprint arXiv:2307.10584},
year = {2023}
}