基于各向异性高斯溅射的扩散模型图像填充
计算机视觉与模式识别
2024-12-17 v3
摘要
图像填充是计算机视觉中的一个基本任务,旨在真实地恢复图像中缺失或损坏的区域。虽然最近的深度学习方法在状态-of-the-art 上取得了显著进展,但在保持结构连续性和生成连贯纹理方面仍面临挑战,尤其是对于大范围缺失区域。扩散模型在生成高保真图像方面显示出前景,但往往缺乏足以实现真实填充所需的结构引导。我们提出一种新颖的填充方法,将扩散模型与各向异性高斯溅射相结合,以有效捕获局部结构和全局上下文。通过对适应局部图像梯度的各向异性高斯函数来建模缺失区域,我们的做法为扩散基于填充的网络提供结构引导。高斯溅射图被整合到扩散过程中,增强了模型生成高保真且结构连贯填充结果的能力。广泛的实验表明,本方法优于状态-of-the-art 技术,能够产生结构完整性和纹理真实性更强的视觉上合理的结果。
引用
@article{arxiv.2412.01682,
title = {Diffusion Models with Anisotropic Gaussian Splatting for Image Inpainting},
author = {Jacob Fein-Ashley and Benjamin Fein-Ashley},
journal= {arXiv preprint arXiv:2412.01682},
year = {2024}
}