自然图像拼接中的对象级几何结构保持
计算机视觉与模式识别
2024-12-11 v4
摘要
具有全局自然结构的图像拼接主题至关重要，其主要目标有两个：像素级对齐和防止失真。现有方法表现出良好的对齐能力，但在保持对象结构方面有所不足。在本文中，我们致力于在良好对齐性能的基础上，基于全局相似性先验 (OBJ-GSP) 保护图像中的整体对象级结构。我们的方法利用语义分割模型（如 Segment Anything Model 系列）提取场景中任何对象的轮廓。在图像变换中采用三角网格以保护图像内对象的整体形状。通过允许对象网格在相似变换和投影变换之间取得平衡，实现了对齐与防失真之间的平衡。我们还证明了对象级语义信息在低空航空图像拼接中的必要性。此外，我们提出了 StitchBench，这是具有最多样化场景的最大图像拼接基准。大量实验结果表明，OBJ-GSP 在像素对齐和形状保持方面均优于现有方法。代码和数据集已在 \url{https://github.com/RussRobin/OBJ-GSP} 公开。
引用
@article{arxiv.2402.12677,
title = {Object-level Geometric Structure Preserving for Natural Image Stitching},
author = {Wenxiao Cai and Wankou Yang},
journal= {arXiv preprint arXiv:2402.12677},
year = {2024}
}