基于选择一致性损失的图像拼接深度接缝预测
计算机视觉与模式识别
2023-06-27 v2
摘要
图像拼接是从不同视点位置捕获的若干图像构建具有更宽视场(FOV)的全景图像。为解决拼接图像中的融合重影问题,接缝驱动方法通过预测最佳接缝来避开错位区域以融合图像。目前,作为 OpenCV 库的标准工具,动态规划(DP)与 GraphCut (GC)仍是仅有的常用接缝预测方法,尽管二者均在二十年前提出。然而,GC 可获得优异的接缝质量但实时性差,而 DP 方法效率高但接缝质量差。本文中,我们提出一种基于深度学习(Deep learning)的接缝预测方法(DSeam),以实现高质量与高效率兼得的接缝。为克服网络中接缝描述困难且无 GroundTruth 用于训练的问题,我们设计了一种结合接缝形状约束与接缝质量约束的选择一致性损失来监督网络学习。通过选择一致性损失的约束,我们隐式地将掩码边界定义为接缝,并将接缝预测转化为掩码预测。据我们所知,所提出的 DSeam 是首个基于深度学习的图像拼接接缝预测方法。大量实验结果很好地证明了我们所提 Dseam 方法的优越性能,其速度比 OpenCV 2.4.9 中经典 GC 接缝预测方法快 15 倍且接缝质量相近。
引用
@article{arxiv.2302.05027,
title = {Deep Seam Prediction for Image Stitching Based on Selection Consistency Loss},
author = {Senmao Cheng and Fan Yang and Zhi Chen and Nanjun Yuan and Wenbing Tao},
journal= {arXiv preprint arXiv:2302.05027},
year = {2023}
}