基于最优平面的鲁棒图像拼接

我们提出了 \textit{RopStitch}，一个具有鲁棒性和自然性的无监督深度图像拼接框架。为确保\textit{RopStitch}的鲁棒性，我们提出通过双分支架构将内容感知的普遍先验纳入图像拼接模型中。具体而言，双分支模型由预训练分支用于捕获语义不变的表示，和可学习分支用于提取细粒度判别特征，随后在相关性水平上通过可控因子进行整合，以实现在多样化的未见真实场景中的高度可泛化性能。此外，考虑到内容对齐与结构保持常常相互矛盾，我们提出了虚拟最优平面的概念以缓解这一冲突。为此，我们将该问题建模为估计仿射变换分解系数的过程，并设计了迭代系数预测器和最小语义失真约束来识别最优平面。该方案最终通过在最优平面上双向变形两组视图，集成到\textit{RopStitch}中。广泛的实验表明，\textit{RopStitch}在各种数据集上显著优于现有方法，尤其在场景鲁棒性和内容自然性方面表现突出。代码地址为 {\color{red}https://github.com/MmelodYy/RopStitch}。