修改需要勇气：基于参考驱动修复的无缝图像拼接
计算机视觉与模式识别
2025-03-10 v2
摘要
现有图像拼接方法在色调不均和大视差等困难场景下往往会产生明显接缝。为解决这一问题，我们提出了参考驱动修复拼接器 (RDIStitcher)，将图像融合与矩形化重新表述为基于参考的修复模型，融合了比以往方法更大的修改融合区域和更强的修改强度。此外，我们引入了一种自监督模型训练方法，通过微调文本到图像 (T2I) 扩散模型，无需标注数据即可实现 RDIStitcher。针对评估拼接图像质量的困难，我们提出了基于多模态大语言模型 (MLLMs) 的指标，为评估拼接图像质量提供了新视角。与最先进 (SOTA) 方法相比，大量实验表明我们的方法显著增强了拼接图像的内容连贯性和无缝过渡。特别是在零样本实验中，我们的方法表现出强大的泛化能力。代码：https://github.com/yayoyo66/RDIStitcher
引用
@article{arxiv.2411.10309,
title = {Modification Takes Courage: Seamless Image Stitching via Reference-Driven Inpainting},
author = {Ziqi Xie and Xiao Lai and Weidong Zhao and Siqi Jiang and Xianhui Liu and Wenlong Hou},
journal= {arXiv preprint arXiv:2411.10309},
year = {2025}
}
备注
18 pages, 10 figures