FreePIH：基于扩散模型的无训练绘画式图像协调
计算机视觉与模式识别
2023-11-28 v1 人工智能
摘要
本文提供一种高效的无训练绘画式图像协调（PIH）方法，称为FreePIH，其仅利用预训练扩散模型即可取得最先进的协调结果。不同于现有方法需要训练辅助网络或微调大型预训练主干（或两者兼具）以将前景物体与绘画风格背景图像相协调，我们的FreePIH将去噪过程驯化为用于前景图像风格迁移的即插即用模块。具体而言，我们发现去噪（即生成）过程的最后几步与图像的风格信息高度对应，基于此，我们提出用高斯分布增强前景与背景图像的潜特征，以实现直接的基于去噪的协调。为保证协调图像的保真度，我们利用多尺度特征在潜空间强制内容一致性与前景物体的稳定性，同时使前景与背景对齐同一风格。此外，为适配具有更多结构与纹理细节的生成，我们进一步整合文本提示以作用于潜特征，从而提升生成质量。在COCO与LAION 5B数据集上的定量与定性评估表明，我们的方法大幅超越代表性基线。
引用
@article{arxiv.2311.14926,
title = {FreePIH: Training-Free Painterly Image Harmonization with Diffusion Model},
author = {Ruibin Li and Jingcai Guo and Song Guo and Qihua Zhou and Jie Zhang},
journal= {arXiv preprint arXiv:2311.14926},
year = {2023}
}