无限尺寸扩散修复
计算机视觉与模式识别
2023-03-02 v1
摘要
近来，利用扩散模型进行零样本图像修复（IR）已成为新的研究热点。此类方法仅需使用预训练现成的扩散模型，无需任何微调，即可直接处理多种 IR 任务。修复性能的上限取决于预训练扩散模型，而后者正快速演进。然而，现有方法仅探讨如何处理固定尺寸图像，而处理任意尺寸图像对实际应用至关重要。本文关注如何使用这些基于扩散的零样本 IR 方法处理任意尺寸，同时保持零样本的优秀特性。解决任意尺寸的一个简单办法是将其划分为固定尺寸块并独立求解每块，但这可能产生明显伪影，因其既未考虑所有块的全局语义，也未考虑相邻块的局部信息。受 Range-Null 空间分解启发，我们提出 Mask-Shift 修复以解决局部不一致性，并提出 Hierarchical 修复以缓解分布外问题。我们这种简单的无参数方法不仅可用于图像修复，也可用于无限尺寸图像生成，有望成为扩散模型的通用工具。代码：https://github.com/wyhuai/DDNM/tree/main/hq_demo
引用
@article{arxiv.2303.00354,
title = {Unlimited-Size Diffusion Restoration},
author = {Yinhuai Wang and Jiwen Yu and Runyi Yu and Jian Zhang},
journal= {arXiv preprint arXiv:2303.00354},
year = {2023}
}