视差容忍的无监督深度图像拼接
计算机视觉与模式识别
2023-08-01 v2
摘要
传统图像拼接方法倾向于利用日益复杂的几何特征（点、线、边缘等）以获得更好性能。然而，这些手工设计的特征仅适用于具有充足几何结构的特定自然场景。相比之下，深度拼接方案通过自适应学习鲁棒语义特征克服不利条件，但由于基于单应性的配准，其无法处理大视差情况。为解决这些问题，我们提出 UDIS++，一种视差容忍的无监督深度图像拼接技术。首先，我们提出一种鲁棒且灵活的形变，将图像配准从全局单应建模为局部薄板样条运动。它通过有关对齐与畸变的联合优化，为重叠区域提供精确对齐，为非重叠区域提供形状保持。随后，为提升泛化能力，我们设计了一种简单而有效的迭代策略以增强形变在跨数据集与跨分辨率应用中的适应性。最后，为进一步消除视差伪影，我们提出通过无监督学习为接缝驱动的合成掩码无缝合成拼接图像。与现有方法相比，我们的方案容忍视差，且免于为特定场景费力设计复杂几何特征。大量实验从定量与定性上表明了我们对 SOTA 方法的优越性。代码见 https://github.com/nie-lang/UDIS2。
引用
@article{arxiv.2302.08207,
title = {Parallax-Tolerant Unsupervised Deep Image Stitching},
author = {Lang Nie and Chunyu Lin and Kang Liao and Shuaicheng Liu and Yao Zhao},
journal= {arXiv preprint arXiv:2302.08207},
year = {2023}
}
备注
Accepted to ICCV2023