重构图像拼接流水线：将融合与矩形化整合为统一修复模型
计算机视觉与模式识别
2024-05-28 v2
摘要
基于深度学习的图像拼接流水线通常分为三个级联阶段：配准、融合和矩形化。每个阶段都需要自己的网络训练，并且与其他阶段紧密耦合，导致误差传播，并对参数调整和系统稳定性构成重大挑战。本文提出了简单鲁棒拼接器（SRStitcher），通过将融合和矩形化阶段简化为一个统一的修复模型，彻底改变了图像拼接流水线，无需模型训练或微调。我们重新定义了融合和矩形化阶段的问题，并证明它们可以有效地整合到一个修复任务中。此外，我们设计了加权掩码来指导预训练大规模扩散模型中的逆向过程，在单次推理中实现这一整合的修复任务。通过大量实验，我们验证了该统一模型的可解释性和泛化能力，表明SRStitcher在性能和稳定性上均优于最先进的方法。代码：https://github.com/yayoyo66/SRStitcher
引用
@article{arxiv.2404.14951,
title = {Reconstructing the Image Stitching Pipeline: Integrating Fusion and Rectangling into a Unified Inpainting Model},
author = {Ziqi Xie and Weidong Zhao and Xianhui Liu and Jian Zhao and Ning Jia},
journal= {arXiv preprint arXiv:2404.14951},
year = {2024}
}